MISSION RECEIVEDAM 02:13 · CAM-07
Кто-то в кадре камеры бросил банку и исчез. Человек с одного взгляда понимает: «выбросил». А компьютеру нужно найти человека среди миллионов чисел и прочитать его движение. Приказ штаба состоял из двух частей: распознать движение выброса и затем создать это движение в обратную сторону. Один человечек-палочка пройдёт весь путь: от поимки нарушителя — к данным о движении, затем свернётся и развернётся, найдёт пару среди слов и в конце по одному слову «Танцуй!» станет видео с танцем Ассистента. Вместе с командой лаборатории мы по порядку выполним пять миссий.
Запись через 3 минуты после сигнала тревоги.
Нажмите «Начать миссию», чтобы перейти к нужной части. Если отметить выполненную миссию как «Готово», это запомнится на этом устройстве.
Превращаем человека в человечка-палочку и ловим
Приказ Два часа ночи: кто-то бросил банку в переулке и исчез. Среди 6 миллионов чисел на экране первым делом заметьте «движение выброса».
Снаряжение Обнаружение объектов · Оценка позы · 4 признака движения · Правила против обучения · Живая диспетчерская
Переворачиваем стрелку в таблице признаков
Приказ С помощью признаков, по которым распознавали выброс, на этот раз создайте движение «бросок». Выясните, почему при усреднении двух движений рука становится длиннее.
Снаряжение Распознавание против генерации · Датасет движений · Ловушка среднего движения · Оценка Эксперта
Сворачиваем и разворачиваем движение
Приказ Сохранится ли движение, если свернуть 1 196 чисел до нескольких и снова развернуть? Пройдитесь по карте латентного пространства между ходьбой и броском.
Снаряжение Автокодировщик · Размер узкого места · Интерполяция в латентном пространстве · Поиск аномальных движений по ошибке восстановления
Кладём слова и жесты на одну карту
Приказ Сведите в пару слова «помахать рукой» и движение, в котором машут рукой. Понаблюдайте, как спутанные линии в ходе обучения находят каждая свою пару.
Снаряжение Текстовый кодировщик · Контрастивное обучение · Поиск «слово–движение» · Генерация по текстовому условию
Как промпт становится танцем Ассистента
Приказ Одно слово «Танцуй!» становится танцем человечка-палочки, а затем — видео с танцем Ассистента. Выясните, что на самом деле означает показанный на экране процент совпадения движений 76,5%.
Снаряжение Промпт → движение · Генерация видео по позе · Процент совпадения движений · Видеоплеер
Превращаем кадр камеры в числа, включаем и выключаем рамки обнаружения и суставы, проигрываем сцены с человечком-палочкой, экспериментируем с правилами, сдвигая пороговое значение, и работаем в диспетчерской в реальном времени. Вы сами увидите, как на самом деле меняются числа.
В каждой миссии есть код, который можно скопировать, скачать или сразу открыть как ноутбук. Используются только стандартные библиотеки Colab, а результаты реального запуска приведены рядом.
В каждом разделе — объяснения для начинающих, всплывающие подсказки к терминам с пунктирным подчёркиванием и проверочные вопросы с разбором ответов.
Собраны промпты, которые используют код как отправную точку для плана хакатона, заявки на конкурс или схемы эксперимента для научной статьи.
Вместе с аналогиями вроде «наложить проволочную куклу» или «видеопросмотр у судьи» указано и то, где эти аналогии не работают.
Собраны планы занятий для лекций, обучения на рабочем месте (OJT) и индивидуального репетиторства, вопросы по разделам и пять распространённых заблуждений.
◆ Как фотография становится числами — тема «экран — это числа» из 5-1 подробнее разобрана в 4-2 Кошка vs человек.
◆ Кодировщик · декодер и внимание — автокодировщик и архитектуру «кодировщик–декодер», на которых строятся 5-3 и 5-4, можно заранее посмотреть в 3-7 Последовательные модели, а основу текстового кодировщика — в 3-8 Внимание · трансформер.