MISSION 5-1認識★☆☆☆☆
CCTVとゴミの投棄
人を棒人間に変えてとらえる
指令 午前2時、路地に缶を投げて姿を消した人物がいる。画面の600万個の数字から「捨てる動作」をまず見抜け。
装備 物体検出 · 姿勢推定 · 動作の特徴4つ · ルール対学習 · ライブ管制室
LOG 02:16 研究室の状況
警報が鳴ってから3分後の記録である。
[SYSTEM] CAM-07 路地から不法投棄の疑いの通報が入りました。添付：CCTV映像3秒、棒人間の資料一式、そして質問二つ。
博士起きろ！路地のCCTVだ！一つ目の質問は「捨てる動作をAIはどう見分けるのか」。二つ目の質問はもっと面白いぞ。「見分けた動作を逆に作り出せるのか！」 5回に分けて答えるぞ！
助手ふわぁ…棒人間で犯人を捕まえるんですか？…ちょっと待って、最後のミッション名が「ダンス映像」ですけど、踊るのって私ですか？それは後で考えます。
ショウジョウバエ研究員まず順番を決めよう。とらえて、ひっくり返して、折りたたんで広げて、言葉とペアにして、最後にダンス！ 一体の棒人間が最初から最後まで一緒に行く。
研究室ロボットコーヒー5杯と棒人間の場面900個を用意しました。ミッションごとに実習とColabコードを2つずつ搭載します。
ORDER 本部指令書
■ 1級緊急 · 研究室全員
- 質問
- AIは動作をどう見分け、どう作り出すのか？
- 任務
- CCTV画面の人を棒人間に変えて投棄の動作をとらえる（認識）。同じ棒人間の特徴を逆に使って動作を作り（生成）、エンコーダ・デコーダで動作を折りたたんでは広げて性能を高め、言葉と動作をペアにする。最後に「踊って」というプロンプトが踊る映像になるまでを解き明かす。
- 報告形式
- ミッションごとに、自分で触ってみる実習、初心者向けの解説、確認問題、実際に動かしたColabコード2つ
- 推奨順序
- 5-1 → 5-2 → 5-3 → 5-4 → 5-5。前のミッションの棒人間を次のミッションが引き継いで使う
CCTV画面→棒人間→動作の特徴→潜在空間→言葉とペア→踊る映像
MISSIONS ミッション5つ
「ミッション開始」を押すと、その回へ移動する。終えたミッションに「完了」を付けておくと、この端末に記憶される。
MISSION 5-2生成★★☆☆☆
見分けるから作るへ
特徴表の矢印をひっくり返す
指令 投棄を見分けていた特徴で、今度は「投げる」動作を作り出せ。二つの動作を平均するとなぜ腕が伸びるのかを解き明かせ。
装備 識別対生成 · 動作データセット · 平均動作の落とし穴 · 審査官の採点
MISSION 5-3圧縮★★★☆☆
エンコーダ・デコーダ
動作を折りたたんで広げる
指令 1,196個の数字を数個に折りたたんで広げても、動作は残るだろうか？ 潜在空間の地図の上で、歩くと投げるの間を歩いてみよ。
装備 オートエンコーダ · ボトルネックの大きさ · 潜在空間の補間 · 復元誤差で異常動作を見つける
MISSION 5-4テキスト★★★★☆
言葉から動作へ
言葉と身ぶりを同じ地図に置く
指令 「手を振る」という言葉と手を振る動作をペアにせよ。絡まっていた線が学習とともに自分の相手を見つけていく過程を見届けよ。
装備 テキストエンコーダ · 対照学習 · 言葉–動作検索 · テキスト条件付き生成
MISSION 5-5最終ミッション★★★★★
「踊って」からダンス映像へ
プロンプトが助手のダンスになるまで
指令 「踊って」のひと言が棒人間のダンスになり、さらに助手のダンス映像になる。画面に出た動作一致率76.5%の正体を解き明かせ。
装備 プロンプト → 動作 · ポーズに基づく映像生成 · 動作一致率 · 映像プレーヤー
進行0 / 5 CLEAR
KIT ミッションごとに入っている装備
▣ 手で触る実習
CCTV画面を数字に変えてみる、検出枠と関節をオン・オフする、棒人間の場面を再生する、しきい値を動かすルール実験、そしてリアルタイム管制室まで。数字が実際にどう変わるかを自分の目で確かめる。
▣ Colabコード2つ
ミッションごとに、コピー・ダウンロード・ノートブックですぐ開けるコードがある。Colabの標準ライブラリだけを使い、実際の実行結果も載せている。
▣ 解説と確認問題
セクションごとに、初心者向けの解説、点線下線の用語吹き出し、解説付きの確認問題がある。
▣ AI応用プロンプト
ハッカソンの計画、コンテストの企画書、論文の実験設計に、コードを出発点として使うためのプロンプトを収めた。
▣ たとえ集
「針金人形を重ねる」「審判のビデオ判定」のようなたとえとともに、そのたとえが外れるところも書いておいた。
▣ 教育者向けTIP
講義形式・実務OJT・1対1チュータリングの運営案、セクションごとの質問、よくある誤解5つをまとめた。
SIDE サブミッション
◆ 写真が数字になる過程 — 5-1の「画面は数字」は4-2 猫 vs 人でより詳しく扱う。
◆ エンコーダ・デコーダとアテンション — 5-3・5-4の土台となるオートエンコーダとエンコーダ–デコーダは3-7 系列モデルで、テキストエンコーダの骨組みは3-8 アテンション・トランスフォーマーで前もって見ることができる。