CCTV 乱扔垃圾
把人变成火柴人来抓
指令 凌晨两点,有人在小巷扔下易拉罐后消失了。先从画面的 600 万个数字中察觉“扔垃圾的动作”。
装备 目标检测 · 姿态估计 · 4 个动作特征 · 规则 vs 学习 · 实时监控室
CCTV 画面里,有人扔下一个易拉罐后消失了。人一眼就能看出“扔了垃圾”,可计算机得从几百万个数字中找到人,再读懂他的动作。总部的指令分为两路:识别出扔垃圾的动作,再把这个动作反过来生成出来。一个火柴人从抓乱扔垃圾的人出发,变成动作数据,被折叠又展开,与词语配对,最后在一句“跳舞吧”之下变成助手的跳舞视频。让我们和研究室成员一起,依次完成这五个任务。
这是警报响起 3 分钟后的记录。
点击“开始任务”即可进入对应篇章。在完成的任务上勾选“完成”,本设备会记住进度。
把人变成火柴人来抓
指令 凌晨两点,有人在小巷扔下易拉罐后消失了。先从画面的 600 万个数字中察觉“扔垃圾的动作”。
装备 目标检测 · 姿态估计 · 4 个动作特征 · 规则 vs 学习 · 实时监控室
把特征表的箭头反过来
指令 用识别乱扔垃圾的特征,这次生成一个“扔”的动作。查明为什么把两个动作取平均后手臂会变长。
装备 判别 vs 生成 · 动作数据集 · 平均动作的陷阱 · 评审员的评分
把动作折叠再展开
指令 把 1,196 个数字折叠成几个再展开,动作还能留下来吗?在潜在空间地图上,从走路走到扔东西试试看。
装备 自编码器 · 瓶颈大小 · 潜在空间插值 · 用重建误差发现异常动作
把语言和身体动作放到同一张地图上
指令 把“挥手”这句话和挥手的动作配对。观察原本缠在一起的线如何在学习中找到各自的伴侣。
装备 文本编码器 · 对比学习 · 词语–动作检索 · 文本条件生成
提示词如何变成助手的舞蹈
指令 一句“跳舞吧”变成火柴人的舞蹈,又变成助手的跳舞视频。查明画面上显示的动作一致率 76.5% 究竟是什么。
装备 提示词 → 动作 · 基于姿态的视频生成 · 动作一致率 · 视频播放器
把 CCTV 画面变成数字、开关检测框和关节、播放火柴人场景、移动阈值的规则实验,还有实时监控室。亲眼确认数字实际是如何变化的。
每个任务都有可复制、可下载、可直接用笔记本打开的代码。只使用 Colab 自带的库,并附上实际运行结果。
每节都有面向初学者的讲解、虚线下划线的术语气泡,以及附带解析的练习题。
收录了把代码作为黑客马拉松计划、竞赛策划书、论文实验设计起点的提示词。
收录了“叠放铁丝人偶”“裁判的视频回放”等比喻,同时写明了比喻失效之处。
整理了讲授型、在岗实训(OJT)、一对一辅导的运营方案,各节提问,以及五种常见误解。
◆ 照片变成数字的过程 —— 5-1 中的“画面就是数字”在 4-2 猫 vs 人 中有更详细的讲解。
◆ 编码器·解码器与注意力 —— 作为 5-3、5-4 基础的自编码器和编码器–解码器可在 3-7 序列模型 中预习,文本编码器的骨架可在 3-8 注意力·Transformer 中预习。