!!! 收到紧急任务 !!! 凌晨 2 点 13 分 · 发信:CAM-07 小巷 · 内容:“用 AI 抓住乱扔垃圾的动作,再把这个动作反过来生成出来” · 任务 5 项 · 难度 ★ ~ ★★★★★ · 研究室全员立即出动 !!!
查看任务
紧急AI 如何识别和生成动作?· 任务 5-1 ~ 5-5
夜间小巷的 CCTV 画面。发光的火柴人伸出手臂扔出易拉罐,易拉罐沿着虚线飞向垃圾桶。扔东西的手腕上框着红色方框 MISSION RECEIVEDAM 02:13 · CAM-07

凌晨两点,小巷的 CCTV 响了
“AI 如何识别动作,又如何生成动作?”

CCTV 画面里,有人扔下一个易拉罐后消失了。人一眼就能看出“扔了垃圾”,可计算机得从几百万个数字中找到人,再读懂他的动作。总部的指令分为两路:识别出扔垃圾的动作,再把这个动作反过来生成出来。一个火柴人从抓乱扔垃圾的人出发,变成动作数据,被折叠又展开,与词语配对,最后在一句“跳舞吧”之下变成助手的跳舞视频。让我们和研究室成员一起,依次完成这五个任务。

LOG 02:16 研究室现场

这是警报响起 3 分钟后的记录。

[SYSTEM] CAM-07 小巷收到一起疑似乱扔垃圾的举报。附件:CCTV 视频 3 秒、一组火柴人资料,以及两个问题。
博士
博士快起来!是小巷的 CCTV!第一个问题是“AI 怎样识别扔垃圾的动作”。第二个问题更有意思:“能不能把识别出的动作反过来生成出来!”分五次来回答!
助手
助手呼啊……用火柴人抓犯人?……等等,最后一个任务叫“跳舞视频”,跳舞的人是我?这个以后再想吧。
果蝇研究员
果蝇研究员先定好顺序。抓住、反转、折叠再展开、和语言配对,最后跳舞!一个火柴人从头陪到尾。
研究室机器人已准备好五杯咖啡和 900 个火柴人场景。每个任务都配有实操和两段 Colab 代码。

ORDER 总部指令书

■ 一级紧急 · 研究室全员

问题
AI 如何识别动作,又如何生成动作?
任务
把 CCTV 画面中的人变成火柴人,抓住乱扔垃圾的动作(识别)。把同一个火柴人的特征反过来用,生成动作(生成);用编码器·解码器把动作折叠再展开以提高性能;把词语和动作配对。最后揭示“跳舞吧”这个提示词是如何变成跳舞视频的。
报告形式
每个任务都有亲手操作的实操、面向初学者的讲解、练习题,以及两段实际运行过的 Colab 代码
推荐顺序
5-1 → 5-2 → 5-3 → 5-4 → 5-5。后一个任务会接着使用前一个任务的火柴人
CCTV 画面→火柴人→动作特征→潜在空间→与词语配对→跳舞视频

MISSIONS 五个任务

点击“开始任务”即可进入对应篇章。在完成的任务上勾选“完成”,本设备会记住进度。

MISSION 5-1识别★☆☆☆☆

CCTV 乱扔垃圾

把人变成火柴人来抓

指令 凌晨两点,有人在小巷扔下易拉罐后消失了。先从画面的 600 万个数字中察觉“扔垃圾的动作”。

装备 目标检测 · 姿态估计 · 4 个动作特征 · 规则 vs 学习 · 实时监控室

MISSION 5-2生成★★☆☆☆

从识别到生成

把特征表的箭头反过来

指令 用识别乱扔垃圾的特征,这次生成一个“扔”的动作。查明为什么把两个动作取平均后手臂会变长。

装备 判别 vs 生成 · 动作数据集 · 平均动作的陷阱 · 评审员的评分

MISSION 5-3压缩★★★☆☆

编码器·解码器

把动作折叠再展开

指令 把 1,196 个数字折叠成几个再展开,动作还能留下来吗?在潜在空间地图上,从走路走到扔东西试试看。

装备 自编码器 · 瓶颈大小 · 潜在空间插值 · 用重建误差发现异常动作

MISSION 5-4文本★★★★☆

从词语到动作

把语言和身体动作放到同一张地图上

指令 把“挥手”这句话和挥手的动作配对。观察原本缠在一起的线如何在学习中找到各自的伴侣。

装备 文本编码器 · 对比学习 · 词语–动作检索 · 文本条件生成

MISSION 5-5最终任务★★★★★

从“跳舞吧”到跳舞视频

提示词如何变成助手的舞蹈

指令 一句“跳舞吧”变成火柴人的舞蹈,又变成助手的跳舞视频。查明画面上显示的动作一致率 76.5% 究竟是什么。

装备 提示词 → 动作 · 基于姿态的视频生成 · 动作一致率 · 视频播放器

进度0 / 5 CLEAR

KIT 每个任务配备的装备

▣ 亲手操作的实操

把 CCTV 画面变成数字、开关检测框和关节、播放火柴人场景、移动阈值的规则实验,还有实时监控室。亲眼确认数字实际是如何变化的。

▣ 两段 Colab 代码

每个任务都有可复制、可下载、可直接用笔记本打开的代码。只使用 Colab 自带的库,并附上实际运行结果。

▣ 讲解和练习题

每节都有面向初学者的讲解、虚线下划线的术语气泡,以及附带解析的练习题。

▣ AI 应用提示词

收录了把代码作为黑客马拉松计划、竞赛策划书、论文实验设计起点的提示词。

▣ 比喻合集

收录了“叠放铁丝人偶”“裁判的视频回放”等比喻,同时写明了比喻失效之处。

▣ 教师指南

整理了讲授型、在岗实训(OJT)、一对一辅导的运营方案,各节提问,以及五种常见误解。

SIDE 支线任务

◆ 照片变成数字的过程 —— 5-1 中的“画面就是数字”在 4-2 猫 vs 人 中有更详细的讲解。

◆ 编码器·解码器与注意力 —— 作为 5-3、5-4 基础的自编码器和编码器–解码器可在 3-7 序列模型 中预习,文本编码器的骨架可在 3-8 注意力·Transformer 中预习。