5-5 От «Танцуй» к видео с танцем — как промпт стал танцем Ассистента

1Миссия

Финальный приказ — «Заставьте Ассистента танцевать одним словом „Танцуй“»

К части 5-4 человечек-палочка уже понимал слова и танцевал. Но пока это лишь скелет. Финальная миссия — одеть этот скелет в облик человека и превратить в видео. Моделью будет Ассистент.

[SYSTEM] 07:30 · Отчёт о выполнении 5-4 получен. Финальный приказ: промпт → видео с танцем. Вложения: референсное изображение Ассистента, одно видео (10 с), два листа раскадровки.

ДокторОдна фотография Ассистента отвечает за внешность, а танец человечка-палочки — за движение. С этими двумя условиями модель генерации видео заново рисует Ассистента в каждом кадре.

АссистентСмотрю видео — а я там в костюме айдола? На референсном изображении я в лабораторном халате… И ещё на экране написано «процент совпадения движений 76.5%». Это хорошо или плохо?

Исследователь-дрозофилаХороший вопрос! Сначала надо выяснить, как посчитано это число. Давайте разберём видео по кадрам. А потом сами измерим процент совпадения.

Робот лабораторииАнализ 240 кадров видео завершён. Поле с числом ни разу не изменилось от начала до конца.

Ассистент в полный рост анфас: розовые волосы с тёмно-синими прядями чёлки, два пучка по бокам, белый лабораторный халат и светло-сиреневая толстовка с капюшоном, джинсы и светло-сиреневые кроссовки — Референсное изображение Ассистента (лист персонажа, анфас). То, что костюм в видео другой, обсуждается в разделе 3.

2В одну строку

От «Танцуй» до видео — шесть этапов в одну строку

Нажмите на ячейку, чтобы увидеть объяснение этапа. Этапы 1–4 — вычисления, которые мы сами сделали в этой серии, а этапы 5–6 показывает готовое видео.

Этап	Что на входе	Что на выходе	Часть серии
1–2 Текстовая воронка	«Танцуй»	Одна точка на общей карте (8 ячеек)	5-4, разделы 2·3
3 Генерация движения	Точка на карте	Движение человечка-палочки (кадры × 13 суставов)	5-3, раздел 6, 5-4, раздел 5
4 Карта позы	Координаты суставов	Цветные палочки на чёрном фоне (для каждого кадра)	Обратное направление к 5-1, раздел 3
5 Генерация по позе	Референсное изображение + карта позы	Кадр, где Ассистент принимает эту позу	Эта часть, раздел 3
6 Видео	Кадры	Видео с танцем	Эта часть, раздел 4

3Рисуем Ассистента

Одеваем карту позы в облик Ассистента — извлекаем кадр из шума

Модели генерации видео по позе — в основном диффузионные модели. Они начинают со случайного шума и шаг за шагом понемногу убирают его, опираясь на два условия: «внешность — как на референсном изображении, поза — как на карте позы». Передвиньте ползунок и уберите шум.

Убрано шагов:

Кодировщик внешности	Извлекает признаки лица, волос и одежды с референсного изображения, чтобы модель постоянно сверялась с ними во время рисования (типа ReferenceNet)
Pose guider (направляющий модуль позы)	Сворачивает карту позы небольшой свёрточной нейросетью и добавляет её к шуму. «Здесь рука» задаётся с самого начала
Временные слои	Позволяют соседним кадрам сверяться друг с другом, чтобы цвет одежды и волосы не мерцали

Чем эта картинка отличается от настоящей генерации

Этот экран смешивает готовый кадр (Ассистента из видео) с шумом в нужной пропорции и показывает «долю исходного сигнала, оставшуюся на каждом шаге» (расчёт √ᾱ следует расписанию настоящей диффузионной модели). Настоящая модель работает с шумом в латентном пространстве, куда изображение свёрнуто в малый размер, и на каждом шаге предсказывает и вычитает «сколько здесь шума» [R1]. Типичный пример архитектуры, которая двигает человека по референсному изображению и позе, — семейство Animate Anyone [R2]. Какой моделью и с какими настройками сделано данное видео, в нём не указано.

На референсном изображении Ассистент в лабораторном халате, а в видео — в костюме айдола. Генерация по позе в принципе переносит внешность с референсного изображения как есть, поэтому видео, возможно, сделано по другому референсному изображению в костюме айдола (например, как на «12 кадрах соло Ассистента» ниже) или костюм изменили текстовым промптом. Какой из вариантов верен, по одному видео понять нельзя.

12 кадров, где Ассистент в костюме айдола танцует один: машет рукой, складывает руки на груди, делает оборот, стоит спиной, поднимает колено и т. д. — 12 кадров соло Ассистента. Костюм тот же, что в видео.

4Видео

Открываем видео — 5 секунд человечка-палочки, 5 секунд Ассистента

В видео два танца склеены не бок о бок, а один за другим (0–4.96 с — человечек-палочка, 4.96–10 с — Ассистент). Кнопка «Просмотр бок о бок» открывает один и тот же файл на двух экранах и сопоставляет одинаковые моменты. Сдвигайте правый экран и найдите момент, когда два танца совпадают.

Как в оригинале (10 с)

Лист раскадровки · человечек-палочка (позиции кадров приблизительны: 5 секунд, разделённые на 12 частей; нажмите, чтобы перейти к этому моменту)

Лист раскадровки · Ассистент

Скорость

Вид

Сначала звук выключен. Кнопкой «Включить звук» можно послушать музыку. В режиме просмотра бок о бок сдвиньте сдвиг примерно к 0.9 секунды.

4.96 сМесто смены сцены (кадр 119, код 2)

−0.92 сСдвиг с наибольшей корреляцией величины движения: Ассистент двигается раньше (код 2, корреляция 0.48)

Зеркальное отражениеЧеловечек-палочка указывает в правую часть экрана, а Ассистент — в левую (кадры 7–8 и 4–5 листов раскадровки)

Есть музыкаAAC стерео. Помимо изображения, в файле есть и звук

5Совпадение

Разбираемся с «процентом совпадения движений 76.5%»

Сначала выясним, что это за число в видео, а затем сами измерим процент совпадения. Даже для одного и того же танца число сильно зависит от способа измерения.

Что проверили (код 2)	Результат	Что это значит
Меняется ли поле с числом от кадра к кадру	Максимальная разница пикселей с первым кадром — 0.07	Во всех 240 кадрах остаётся 76.5%. Это не значение, пересчитываемое для каждого кадра
Блок процента совпадения в первой и во второй сцене	Средняя разница в одинаковые моменты — 0.16	Один и тот же оверлей проигран по разу в обеих сценах. Колебания розовой полосы внизу — тоже украшение
Указан ли способ расчёта	Нет	По одному видео нельзя понять, что с чем и по какой оценке сравнивали

Измеряем сами — та же хореография, другой тайминг (иллюстративный расчёт)

Слева — 5-секундная хореография (машет рукой → указывает → разводит руки и сгибает колени → поднимает обе руки), справа — та же хореография, исполненная с опозданием. Оценка по расстоянию между суставами — это среднее по суставам значение exp(−расстояние²/2·0.1²) после совмещения таза, а оценка по направлению конечностей — среднее косинусное сходство направлений 8 костей.

Выражение лица Ассистента, меняющееся в зависимости от оценки

Опоздание повторяющего1.00 с

Результаты кода 1

Ситуация	Оценка по расстоянию между суставами	Оценка по направлению конечностей
Тот же танец, те же моменты	100.0%	100.0%
Повтор с опозданием на 0.33 с	90.8%	96.4%
Повтор с опозданием на 1.0 с	77.6%	87.8%
Зеркально отражённый танец	82.5%	88.6%
Опоздание на 1.0 с и зеркальное отражение	78.7%	86.5%
Танец с опозданием на 1.0 с, сдвинутый на 15 кадров раньше	100.0%	—
Выравнивание динамической трансформацией времени (DTW)	99.6%	—
Зеркально отражённый танец: только выравнивание по времени / также обратное отражение	79.6% / 100.0%	—

Как читать 76.5%

Даже тот же танец с опозданием на 1 секунду даёт 77.6%. Это пример из кода 1. Два танца в видео сдвинуты примерно на 0.9 секунды и к тому же зеркально отражены. Возможно, 76.5% — это число, измеренное прямо с таким сдвигом, но проверить это нельзя: способ расчёта не указан.
Число зависит от вида оценки. Одно и то же опоздание на 1 секунду даёт 77.6% по расстоянию между суставами и 87.8% по направлению конечностей. Называя процент совпадения, нужно указывать, что именно сравнивалось.
Выравнивание по времени всё меняет. Если найти сдвиг и выровнять или применить динамическую трансформацию времени, тот же танец приближается к 100%. «Хорошо ли повторили танец» и «была ли та же поза в тот же момент» — разные вопросы.

6Итоги

Путь человечка-палочки — пять миссий на одной странице

Один человечек-палочка из переулка под камерой CCTV стал признаками, стал материалом для генерации, свернулся и развернулся, нашёл пару среди слов и в конце стал танцем Ассистента. Нажмите на карточку, чтобы перейти к соответствующей части.

5-1 РаспознаваниеВыброс мусора на CCTV

6 миллионов чисел на экране → 26 суставов → 4 признака → решение

60.7% → 99.7%

Правило скорости запястья → 4 признака + обучение

5-2 ГенерацияОт распознавания к созданию

Если развернуть стрелку, модель учит не правильный ответ, а распределение

44.2% → 0.0%

Ошибка длины костей: кубики координат → выбор ручек (латентных переменных)

5-3 СжатиеКодировщик · декодер

Сворачиваем 1,196 чисел в 16 и разворачиваем обратно

99.8%

Движение, заключённое в 16 числах

5-4 ТекстОт слов к движению

Контрастивное обучение, размещающее слова и движения на одной карте

1.90 → 0.01

Функция потерь подбора пар, 400 шагов

5-5 ФиналОт «Танцуй» к видео с танцем

Одеваем карту позы в облик Ассистента и делаем видео

76.5%

Процент совпадения, показанный в видео (способ расчёта не указан)

Одна фраза, связывающая всю серию

Всё — это числа: и кадр CCTV, и суставы, и предложения можно обсчитывать только после того, как они превращены в числа.
Хорошее представление — половина успеха: 4 признака (5-1), углы (5-2), 16 латентных чисел (5-3), общая карта (5-4) — от того, чем представлять данные, зависит качество.
Распознавание и создание используют одни и те же числа в разных направлениях: человечек-палочка, ловивший нарушителей, стал скелетом танца.

Вопросы, которые остаются до конца

Прежде чем верить числу: 99.7% — результат на синтетических данных, а у 76.5% не указан способ расчёта. Рядом с числом всегда должно быть «что и как».
Зона ответственности человека: за окончательную проверку решения о выбросе мусора (5-1) и за согласие на использование движений и внешности реальных людей (5-2·5-5) отвечает человек.

Код Colab — запустите эту страницу сами

Оба кода используют только библиотеки, установленные в Colab по умолчанию. Нажмите «Скачать ноутбук (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в ячейку нового ноутбука.

Код 1 · Как измерить процент совпадения движенийСвязан с разделом 5 · numpy · CPU около 5 с

Создаёт 5-секундную хореографию и сравнивает её по двум оценкам с танцем, исполненным с опозданием или зеркально. Есть также выравнивание по времени и динамическая трансформация времени (DTW). Чтобы использовать свои данные вместо dance_seq подставьте в A и B координаты суставов (кадры, 13, 2), полученные оценкой позы из двух видео.

Результат выполнения (запуск 2026-10-05, numpy 2.4 · CPU). Случайные числа не используются, поэтому результат всегда одинаков.

Код 2 · Разбираем видео на числа (OpenCV)Связан с разделами 4·5 · numpy, OpenCV · CPU около 3 с · нужен видеофайл

Измеряет разрешение и длительность видео, смену сцен, изменения поля с процентом совпадения и временной сдвиг между двумя сценами. Отсюда взяты числа анализа видео в разделах 4·5. Загрузите в Colab тот же файл match_score_video.mp4, что встроен в эту страницу.

Результат выполнения (запуск 2026-10-05, numpy 2.4 · OpenCV 4.13 · CPU). Для того же видео результат всегда одинаков.

Промпты для применения ИИ — этот код как отправная точка

Эти промпты нужно вставлять в ИИ-помощники вроде ChatGPT, Qwen или Claude. При нажатии «Копировать» после промпта добавляется выбранный код. Замените текст в 〔〕 на свою ситуацию.

Какой код приложить

Ответ ИИ — лишь отправная точка. Предложенные статьи, числа и функции библиотек обязательно проверяйте по первоисточникам и официальной документации. Если вы используете видео с реальными людьми, сначала убедитесь в наличии согласия на съёмку и соблюдении правил обработки персональных данных.

Глоссарий

Это тот же словарь, что и у терминов с жёлтым пунктирным подчёркиванием в тексте. Нажмите на название раздела, чтобы перейти туда, где термин встретился впервые.

Сборник аналогий — и где аналогия не работает

Аналогия — первый шаг к пониманию, но и семя заблуждения. У аналогий с человеческим восприятием указана сила соответствия. Прямая — есть данные, что это действительно делает то же самое · Частичная — похожи лишь некоторые свойства · Нет — соответствие неизвестно

Понятие	Бытовая аналогия	Аналогия с восприятием человека	Где аналогия не работает
Генерация по позе	Поставить манекен в позу, одеть его и сфотографировать	Частично Человек, видя движение, представляет конкретного человека, выполняющего это движение	На манекене одежда остаётся той же, а генеративная модель в каждом кадре заново рисует одежду и лицо, поэтому они могут немного меняться
Референсное изображение	Портфолио-фото актёра	Нет	Вид со спины и пальцы, которых нет на фото, модель придумывает. Придуманное может отличаться от настоящего человека
Карта позы	Танцевальная нотация (запись хореографии)	Нет	Запись хореографии человек читает и интерпретирует, а карта позы содержит только положения суставов. Мимика, пальцы и ритм теряются
Процент совпадения движений	Оценка в караоке	Нет	Если способ расчёта скрыт, как у оценки в караоке, по одному числу нельзя понять, хорошо ли получилось. Сначала нужно знать, что с чем и как сравнивали
Выравнивание по времени (DTW)	Перемонтировать видео двух танцоров, сбившихся с ритма, так, чтобы они попадали в такт	Частично Человек узнаёт «тот же танец», даже если ритм немного сбит	DTW не меняет порядок, а только растягивает и сжимает. Танец с изменённым порядком движений он выровнять не может

Об авторе и источники

E-1 Об авторе · E-2 Научные источники · E-3 Источники рисунков и чисел

E-1 Об авторе

Ан Сансон (генеральный директор M-Robo Co., Ltd.)

Работал в Корейской корпорации электробезопасности (KESCO) и газете Maeil Business Newspaper, затем основал внешнее венчурное предприятие Maeil Business — M-Robo Co., Ltd., которое возглавляет в настоящее время. M-Robo — медиавенчур, начинавшийся как внутренний стартап СМИ: компания предоставляла газете Kukmin Ilbo сервис робота-журналиста (StockBot) и выполнила ряд проектов для Корейского агентства интернета и безопасности (KISA), Корейского фонда прессы, Корейского агентства по радиосвязи и др. Сейчас компания развивает собственный ИИ-сервис новостей Money-Robo. Будучи генеральным директором, победил на Азиатском хакатоне открытых данных и дважды получил награду министра внутренних дел и безопасности за заслуги в области стартапов на основе данных; является изобретателем и правообладателем 5 патентов в области искусственного интеллекта и блокчейна. Автор книги «Преступления с ИИ и самозащита»; разрабатывал электронные учебные курсы по финтеху, статистике и искусственному интеллекту для Центра онлайн-образования Корейского технологического и образовательного университета (KOREATECH). Имеет степень доктора экономических наук (Университет Тонгук, микроэкономика и математическая экономика). Преподаёт дисциплины, связанные с данными и искусственным интеллектом, в ряде университетов, в том числе в Университете Кукмин и Университете Хосо. Подробный профиль

Лекции

Ан Сансон (2025). Конспект лекций «Наука о данных для бизнеса». Кафедра конвергенции ИИ, Корейский открытый киберуниверситет.
Ан Сансон (2025). [K-Digital] Обработка естественного языка с помощью ИИ. STEP (Smart Training Education Platform), Центр онлайн-образования Корейского технологического и образовательного университета.
Ан Сансон (2024). [K-Digital] Основы анализа данных в финтехе. STEP (Smart Training Education Platform), Центр онлайн-образования Корейского технологического и образовательного университета.

Курсы на STEP: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Если из-за обновления сайта ссылки не открываются, перейдите на www.step.or.kr.

Статьи и доклады

Ан Сансон (2025). Модель прогнозирования расходов домохозяйств на данных Корейского панельного исследования пенсионного обеспечения (KReIS): подход на основе моделей ИИ. «Будущее общество» (Future Society), 16(2). Полный текст
Ан Сансон (2025). Модель прогнозирования расходов домохозяйств на данных Корейского панельного исследования пенсионного обеспечения: подход на основе ИИ. Доклад на научной конференции по панельному исследованию пенсионного обеспечения (13.05.2025), Исследовательский институт Национальной пенсионной службы Кореи. Материалы доклада
Ан Сансон (2025). Алгоритм обнаружения подозрительных сделок с наркотиками по текстам соцсетей: анализ паттернов и контекста. «Будущее общество» (Future Society), 16(1). Полный текст
Ан Сансон (2024). Статистические методы противодействия состязательным данным для защиты моделей обнаружения аномалий в финансовой сфере: эмпирический анализ и результаты моделирования. «Будущее общество» (Future Society), 15(3). Полный текст
Ан Сансон (2024). Решение на основе ИИ для обнаружения публикаций в соцсетях по признакам виртуальных персонажей. Стендовый доклад на 2024 Summer Newmedia Party (19.06.2024), Сеульский университет медиа (аспирантура).
Ан Сансон (2024). Модели машинного обучения на панельных данных о производственном травматизме. Стендовый доклад на 10-й научной конференции по панельному исследованию страхования от производственных травм (17.05.2024), Исследовательский институт социального обеспечения трудящихся, Корейская служба социального обеспечения трудящихся (COMWEL).
Ан Сансон (2024). Анализ и прогнозирование временных рядов виртуальных активов: сравнение моделей временных рядов и моделей ИИ, предложения по улучшению. «Будущее общество» (Future Society), 15(1). Полный текст

E-2 Научные источники

[R1] Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems 33. arXiv:2006.11239 — раздел 3
[R2] Hu, L., Gao, X., Zhang, P., Sun, K., Zhang, B., & Bo, L. (2024). Animate Anyone: Consistent and controllable image-to-video synthesis for character animation. CVPR 2024. arXiv:2311.17117 — разделы 2·3
[R3] Cao, Z., Simon, T., Wei, S.-E., & Sheikh, Y. (2017). Realtime multi-person 2D pose estimation using part affinity fields. CVPR 2017. arXiv:1611.08050 — раздел 2 (формат цветных палочек карты позы)
[R4] Sakoe, H., & Chiba, S. (1978). Dynamic programming algorithm optimization for spoken word recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing, 26(1), 43–49. doi:10.1109/TASSP.1978.1163055 — раздел 5 (динамическая трансформация времени)
[R5] Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., & Zitnick, C. L. (2014). Microsoft COCO: Common objects in context. ECCV 2014. arXiv:1405.0312 — раздел 5 (источник оценки OKS, основанной на расстоянии между суставами)

E-3 Источники рисунков и чисел

Лист персонажа Ассистента, лист эмоций, два листа раскадровки, 12 кадров соло Ассистента и видео с танцем — материалы, созданные автором
Числа анализа видео в разделах 4·5 получены прямым измерением видео кодом 2. Время на листах раскадровки — приблизительное: 5 секунд, разделённые на 12 частей
Расчёт процента совпадения в разделе 5 сделан на хореографии, придуманной для объяснения, и не является пересчётом 76.5% из видео
Изображения с шумом в разделе 3 получены примешиванием шума к готовому кадру. Это не запись настоящего процесса генерации

Советы преподавателям

Рекомендации по проведению занятия для преподавателей, наставников OJT и тьюторов. Время указано ориентировочно — подстройте его под реальное занятие. Эту часть можно использовать и как итоговое занятие по серии.

Для кого	Студенты и работающие специалисты, прошедшие 5-1~5-4. Менеджеры и специалисты, которые по работе имеют дело со сгенерированными видео и «оценками ИИ»
Что нужно знать заранее	Оценка позы из 5-1, «слова → движение» из 5-4, основная идея диффузионной модели (шум убирается шаг за шагом)
Цели обучения	① По порядку объяснить шесть этапов от промпта до видео ② Сказать, что определяет референсное изображение и что — карта позы ③ Глядя на числа вроде процента совпадения, спрашивать «что и как сравнивали» и приводить пример того, как временной сдвиг меняет оценку
Ориентировочное время	Чтение 30–40 мин · демонстрация видео 20 мин · практикум в Colab 25 мин (код 1 — 12 мин, код 2 — 13 мин)

Три сценария занятия

Лекция, 50 мин

Упор на итоги серии

Введение 5 мин (раздел 1) → шесть этапов раздела 2, 10 мин → просмотр бок о бок в разделе 4, 10 мин → эксперимент с процентом совпадения в разделе 5, 12 мин → карта серии в разделе 6, 8 мин → проверочные вопросы 5 мин.

Обучение на рабочем месте (OJT), 90 мин

Упор на проверку оценок

Разделы 4·5, 25 мин → в командах выбрать одну «оценку ИИ» из своей работы и восстановить, что и как в ней сравнивается, 25 мин → прямое измерение видео кодом 2, 20 мин → обсуждение маркировки сгенерированного контента и согласия на примере разницы в костюме из раздела 3, 20 мин.

Индивидуальные занятия 1:1

Темп по уровню

Новичкам — только разделы 2·4·6. Слушателям среднего уровня предложите вручную посчитать score_dist из кода 1 для одного кадра и пройти заполнение таблицы DTW размером 3 × 3.

Ключевые моменты по разделам

Раздел	Вопрос, на котором стоит остановиться	Совет по управлению
2 В одну строку	«Какие из этих этапов мы сами посчитали в этой серии, а какие показывает готовое видео?»	Нажимать ячейки по одной и читать последнее предложение объяснения ниже
3 Рисуем Ассистента	«На референсном изображении лабораторный халат — почему же в видео костюм айдола?»	Протянуть шаг от 0 до 25 и сравнить с 12 кадрами соло ниже
4 Видео	«На какой секунде происходит поворот в каждом из двух танцев?»	В просмотре бок о бок сдвинуть сдвиг от 0 до 0.9 секунды
5 Совпадение	«Танец тот же — почему 77.6%? Как сделать 100%?»	При опоздании 1.0 с нажать «Выровнять по времени»
6 Итоги	«Если выбрать одно самое важное число из пяти частей — какое?»	Нажать на карточку и вернуться к соответствующей части

Топ-5 частых заблуждений

Заблуждение	Правильное объяснение	Что показать
Если сказать «Танцуй», ИИ поймёт, что такое танец, и снимет видео	Это поток, в котором этапы передают друг другу числа: слова → точка на карте → координаты суставов → карта позы → кадры	Раздел 2
Процент совпадения на экране видео — надёжное измерение	76.5% в этом видео — одно и то же значение во всех 240 кадрах, а способ расчёта не указан	Таблица в начале раздела 5
Низкий процент совпадения значит, что танец повторили плохо	Даже тот же танец с опозданием на 1 секунду даёт 77.6%. Если выровнять тайминг и отражение, получится 100%	Раздел 5, «Измеряем сами»
Человек выглядит точно как на референсном изображении	В принципе да, но то, чего нет на референсе (например, вид со спины), модель придумывает, а костюм может отличаться, как в этом видео	Примечание внизу раздела 3
Раз есть карта позы, можно заставить танцевать кого угодно — проблем нет	Создавая видео с внешностью реального человека, нужны согласие этого человека и маркировка сгенерированного контента	Раздел 6, «Зона ответственности человека»

Проверочные вопросы (нажмите, чтобы раскрыть разбор)

В1. Сколько кадров в 10-секундном видео при 24 кадрах в секунду? Если смена сцены приходится на кадр 119, на какой это секунде?

24 × 10 = 240 кадров. 119 ÷ 24 ≈ 4.96 с.

В2. Какова оценка сустава exp(−d²/2σ²), если расстояние до него 0.1? (σ = 0.1)

exp(−0.01 / 0.02) = exp(−0.5) ≈ 0.607. Если расстояние равно σ, этот сустав получает около 61 балла.

В3. Тот же танец повторили с опозданием на 1 секунду. Какова оценка при прямом покадровом сравнении и при сравнении со сдвигом на 15 кадров раньше? (код 1)

Без выравнивания — 77.6%, со сдвигом — 100.0%. Опоздание засчитывалось как «ошибка».

В4. Как мы узнали, что 76.5% в видео не пересчитывается для каждого кадра?

Пиксели поля с числом во всех 240 кадрах почти совпадают с первым кадром (максимальная разница 0.07), а блоки процента совпадения в двух сценах в одинаковые моменты почти одинаковы (средняя разница 0.16). Один и тот же оверлей проигран дважды.

В5. Что определяет референсное изображение и что — карта позы при генерации по позе? Какой этап на изображениях с шумом из раздела 3 — заслуга какого условия?

Референсное изображение — внешность (лицо, волосы, одежда), карта позы — позу. В начале удаления шума (крупные очертания) главную работу делает карта позы, а в конце (лицо, украшения, узоры) — референсное изображение.

Задания в Colab

Базовое

В коде 1 поменяйте σ на 0.05, 0.1, 0.2 и сравните оценку по расстоянию между суставами для «повтора с опозданием на 1.0 с». В двух предложениях напишите, как σ влияет на оценку и почему, сообщая процент совпадения, нужно указывать и σ.

Повышенной сложности

С помощью MediaPipe извлеките координаты суставов из обеих сцен этого видео (для сцены с Ассистентом отметьте и кадры, где это не удалось) и посчитайте реальный процент совпадения функциями score_dist и best_shift из кода 1. Сравните оценки до и после выравнивания по времени, а также оценку с обратным отражением, с 76.5% и представьте отчёт.

Регулировка сложности и что изучить дальше

Новичкам	Просмотра бок о бок из раздела 4 и одной кнопки «Выровнять по времени» из раздела 5 достаточно, чтобы ухватить главное в этой части
Углублённо	Предложите сопоставить схему архитектуры из статьи Animate Anyone с таблицей раздела 3 (кодировщик внешности · pose guider · временные слои) и представить это
Повторение серии	Предложите в одну строку объяснить, что измеряет каждое из чисел на пяти карточках раздела 6 (60.7% → 99.7%, 44.2% → 0.0%, 99.8%, 1.90 → 0.01, 76.5%)