CCTV tor koʻchasidagi chiziqcha odamdan boshlangan missiyaning yakuni. "Raqsga tush!" degan ikki soʻz soʻzlar xaltasidan oʻtib chiziqcha odamning raqsiga aylanadi, bu raqs esa poza xaritasiga aylanib, Yordamchining qiyofasini oladi. Haqiqiy videoni kadrma-kadr ochib koʻramiz va ekranda turgan "harakat mosligi 76.5%" nimani bildirishi va nimani bildirmasligini tahlil qilamiz.
5-4 gacha chiziqcha odam soʻzni tushunib raqsga tushdi. Lekin u hali faqat skelet. Yakuniy missiya — shu skeletga inson qiyofasini kiydirib, video yaratish. Model boʻladigan odam — Yordamchi.
Katakni bossangiz, oʻsha bosqich tushuntiriladi. 1–4-bosqichlar shu seriyada oʻzimiz bajargan hisob-kitoblar, 5–6-bosqichlarni esa berilgan video koʻrsatadi.
| Bosqich | Kiradi | Chiqadi | Seriyaning qismi |
|---|---|---|---|
| 1–2 soʻz voronkasi | "Raqsga tush!" | Umumiy xaritadagi bitta nuqta (8 katak) | 5-4, 2 · 3-boʻlimlar |
| 3 harakat yaratish | Xaritadagi nuqta | Chiziqcha odam harakati (kadr × 13 ta boʻgʻim) | 5-3, 6-boʻlim, 5-4, 5-boʻlim |
| 4 poza xaritasi | Boʻgʻim koordinatalari | Qora fondagi rangli tayoqchalar rasmi (har bir kadr uchun) | 5-1, 3-boʻlimning teskari yoʻnalishi |
| 5 pozaga asoslangan generatsiya | Namuna rasm + poza xaritasi | Yordamchi oʻsha pozada turgan kadr | Ushbu qism, 3-boʻlim |
| 6 video | Kadrlar | Raqs videosi | Ushbu qism, 4-boʻlim |
Pozaga asoslangan video generatsiya modellarining aksariyati diffuziya modellaridir. Ular tasodifiy shovqindan boshlab, har bosqichda uni asta-sekin olib tashlaydi va "tashqi koʻrinish namuna rasmdagidek, poza esa poza xaritasidagidek" degan ikki shartga tayanadi. Surgichni siljitib, shovqinni olib tashlab koʻring.
| Tashqi koʻrinish enkoderi | Namuna rasmdagi yuz · soch · kiyim belgilarini ajratib oladi va chizish davomida doim ularga tayanadi (ReferenceNet turidagi) |
| Poza yoʻnaltirgich | Poza xaritasini kichik konvolyutsion neyron tarmoq bilan buklab, shovqin ustiga qoʻshadi. "Qoʻl shu yerda" degani boshidanoq belgilanadi |
| Vaqt qatlami | Oldingi va keyingi kadrlarni bir-biriga tayantirib, kiyim rangi · sochlar miltillamasligini ta’minlaydi |
Bu ekran tayyor kadrga (videodagi Yordamchiga) shovqinni nisbat boʻyicha aralashtirib, "har bosqichda asl signaldan qancha ulush qolganini" koʻrsatadi (√ᾱ hisobi haqiqiy diffuziya modelining jadvaliga asoslangan). Haqiqiy model shovqin bilan rasm kichraytirib buklangan yashirin fazoda ishlaydi va har bosqichda "bu yerda shovqin shuncha" deb bashorat qilib, uni ayiradi [R1]. Namuna rasm va poza yordamida odamni harakatlantiradigan tuzilmalarning yorqin namunasi — Animate Anyone [R2] oilasi. Berilgan video qaysi model va qanday sozlamalar bilan yaratilgani videoda koʻrsatilmagan.
Video ikki raqsni yonma-yon emas, ketma-ket ulagan (0–4.96 s chiziqcha odam, 4.96–10 s Yordamchi). "Yonma-yon koʻrish"ni bossangiz, bitta fayl ikki ekranda ochilib, bir xil lahzalar bir-biriga solishtiriladi. Oʻng ekrandagi siljishni oʻzgartirib, ikki raqs mos keladigan lahzani topib koʻring.
Boshida ovoz oʻchirilgan. "Ovozni yoqish" tugmasi bilan musiqani eshitish mumkin. Yonma-yon koʻrishda siljishni 0.9 soniya atrofiga olib boring.
Avval videodagi son nima ekanini tekshiramiz, soʻng moslikni oʻzimiz oʻlchab koʻramiz. Bir xil raqsda ham qanday oʻlchanishiga qarab son keskin farq qiladi.
| Tekshirilgan narsa (2-kod) | Natija | Ma’nosi |
|---|---|---|
| Son katagi har kadrda oʻzgaradimi | Birinchi kadrdan piksel farqi maksimal 0.07 | 240 kadr davomida 76.5% oʻzgarmaydi. Bu har kadrda qayta hisoblangan qiymat emas |
| Oldingi va keyingi sahnadagi moslik qutisi | Bir xil vaqt nuqtalari boʻyicha oʻrtacha farq 0.16 | Bir xil overley ikki sahnada bir martadan ijro etilgan. Pastdagi pushti chiziqning tebranishi ham shunchaki bezak |
| Hisoblash usuli koʻrsatilganmi | Yoʻq | Nima nima bilan, qanday baho bilan solishtirilgani videoning oʻzidan bilinmaydi |
Chapda 5 soniyalik xoreografiya (qoʻl silkitish → koʻrsatish → qoʻllarni yoyib tizza koʻtarish → ikki qoʻlni koʻtarish), oʻngda esa xuddi shu xoreografiyani kechikib takrorlayotgan raqs. Boʻgʻim masofasi bahosi — tos markazi moslangandan keyin har bir boʻgʻim uchun exp(−masofa²/2·0.1²) ning oʻrtachasi, qoʻl-oyoq yoʻnalishi bahosi — 8 ta suyak yoʻnalishi kosinus oʻxshashligining oʻrtachasi.
| Holat | Boʻgʻim masofasi bahosi | Qoʻl-oyoq yoʻnalishi bahosi |
|---|---|---|
| Bir xil raqs, bir xil vaqt | 100.0% | 100.0% |
| 0.33 s kechikib takrorlangan raqs | 90.8% | 96.4% |
| 1.0 s kechikib takrorlangan raqs | 77.6% | 87.8% |
| Koʻzgudek aylangan raqs | 82.5% | 88.6% |
| 1.0 s kechikkan va koʻzgudek aylangan | 78.7% | 86.5% |
| 1.0 s kechikkan raqsni 15 kadr oldinga surib moslash | 100.0% | — |
| Dinamik vaqt egilishi (DTW) bilan moslash | 99.6% | — |
| Koʻzgudek aylangan raqs: faqat vaqtni moslash / koʻzgu aksini ham qaytarish | 79.6% / 100.0% | — |
CCTV tor koʻchasidagi bitta chiziqcha odam belgiga aylandi, generatsiya uchun xomashyo boʻldi, buklanib-yoyildi, soʻz bilan juftlashdi va oxirida Yordamchining raqsiga aylandi. Kartani bossangiz, oʻsha qismga oʻtasiz.
Ekrandagi 6 million son → 26 ta boʻgʻim → 4 ta belgi → qaror
Bilak tezligi qoidasi → 4 ta belgi + oʻrganish
5-2 GeneratsiyaTanishdan yaratishgaStrelkani teskari aylantirsangiz, model toʻgʻri javobni emas, taqsimotni oʻrganadi
Koordinata zari → dasta (yashirin oʻzgaruvchi) tanlashdagi suyak uzunligi xatosi
5-3 SiqishEnkoder · dekoder1 196 ta sonni 16 taga buklab, yana yoyadi
16 ta son ichiga sigʻgan harakat
5-4 MatnSoʻzdan harakatgaSoʻz va harakatni bitta xaritaga joylaydigan kontrastiv oʻrganish
Juftlash yoʻqotishi, 400 qadam
5-5 Yakuniy"Raqsga tush!" buyrugʻidan raqs videosigachaPoza xaritasiga Yordamchini kiydirib, videoga aylantirish
Videoda koʻrsatilgan moslik (hisoblash usuli koʻrsatilmagan)
Ikkala kod ham faqat Colab’da standart oʻrnatilgan kutubxonalardan foydalanadi. "Notebook (.ipynb) yuklab olish" tugmasini bosgach, Colab’da Fayl → Notebookni yuklash orqali oching yoki kodni nusxalab, yangi notebook katagiga joylashtiring.
5 soniyalik xoreografiya yaratib, uni kechikib takrorlangan yoki koʻzgudek aylantirilgan raqs bilan ikki xil baho orqali solishtiradi. Vaqtni moslash va dinamik vaqt egilishi (DTW) ham bor. Oʻz ma’lumotlaringizga moslash uchun dance_seq oʻrniga ikki videodan poza baholash orqali olingan boʻgʻim koordinatalarini (kadr, 13, 2) A va B ga bering.
Videoning oʻlchami · davomiyligi, sahna almashinuvi, moslik son katagining oʻzgarishi va ikki sahna orasidagi vaqt siljishini oʻlchaydi. 4 · 5-boʻlimlardagi video tahlili sonlari shu yerdan olingan. Video fayl sifatida ushbu sahifadagi bilan bir xil match_score_video.mp4 ni Colab’ga yuklab ishlating.
ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. "Nusxalash" tugmasini bossangiz, prompt ortidan tanlangan kod ham qoʻshiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozing.
AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Haqiqiy odamlar tushgan videolardan foydalanganda avval suratga olishga rozilik va shaxsiy ma’lumotlarni qayta ishlash qoidalarini tekshiring.
Matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.
Oʻxshatish — tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Inson idroki bilan qiyoslangan oʻxshatishlarga kuchlilik darajasi belgilangan. Bevosita haqiqatan bir xil ish bajarilishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshaydi · Yoʻq mos keladigan narsa ma’lum emas
| Tushuncha | Kundalik oʻxshatish | Inson idroki bilan oʻxshatish | Oʻxshatish notoʻgʻri boʻladigan joy |
|---|---|---|---|
| Pozaga asoslangan generatsiya | Maneken pozasini sozlab, ustiga kiyim kiydirib suratga olish | Qisman Inson harakatni koʻrib, shu harakatni qilayotgan muayyan odamni koʻz oldiga keltirishi | Manekendagi kiyim oʻzgarmaydi, generativ model esa har kadrda kiyim va yuzni yangidan chizgani uchun ular biroz farq qilishi mumkin |
| Namuna rasm | Aktyorning profil surati | Yoʻq | Profil suratida yoʻq orqa tomon · barmoqlarni model oʻzi toʻqib chiqaradi. Toʻqilgan qismlar asl odamdan farq qilishi mumkin |
| Poza xaritasi | Raqs notasi (xoreografiya yozuvi) | Yoʻq | Xoreografiya yozuvini inson oʻqib talqin qiladi, poza xaritasi esa faqat boʻgʻimlar joylashuvini saqlaydi. Yuz ifodasi · barmoqlar · ritm tushib qoladi |
| Harakat mosligi | Karaoke bahosi | Yoʻq | Karaoke bahosi kabi hisoblash usuli yashirilgan boʻlsa, faqat songa qarab yaxshi bajarilganini bilib boʻlmaydi. Avval nima nima bilan qanday solishtirilganini bilish kerak |
| Vaqtni moslash (DTW) | Ritmi siljigan ikki kishining raqs videosini ritmga moslab qayta montaj qilish | Qisman Inson ritm biroz siljisa ham "bir xil raqs" deb taniydi | DTW tartibni oʻzgartirmaydi, faqat choʻzadi va qisqartiradi. Harakatlar tartibi oʻzgargan raqsni moslay olmaydi |
E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasm va raqamlar manbalari
Bu oʻqituvchilar, amaliy OJT mas’ullari va tyutorlar uchun mashgʻulotni olib borish boʻyicha qoʻllanma. Vaqtlar taxminiy, shuning uchun ularni haqiqiy darsga moslang. Bu qismdan seriyani yakunlovchi dars sifatida ham foydalanish mumkin.
| Kimlar uchun | 5-1–5-4 ni tugatgan talabalar va xodimlar. Ishda generatsiya qilingan videolar va "AI baholari" bilan ishlaydigan rejalashtiruvchilar va amaliyotchilar |
|---|---|
| Oldindan kerakli bilimlar | 5-1 dagi poza baholash, 5-4 dagi soʻz → harakat, diffuziya modelining asosiy gʻoyasi (shovqinni olib tashlash) |
| Oʻquv maqsadlari | ① Promptdan videogacha boʻlgan olti bosqichni tartib bilan tushuntiradi ② Namuna rasm va poza xaritasi har biri nimani belgilashini aytadi ③ Moslik kabi sonlarni koʻrganda "nima, qanday solishtirildi?" deb soʻraydi va vaqt siljishi bahoni qanday oʻzgartirishiga misol keltiradi |
| Taxminiy vaqt | Oʻqish 30–40 daqiqa · video namoyishi 20 daqiqa · Colab amaliyoti 25 daqiqa (1-kod 12 daqiqa, 2-kod 13 daqiqa) |
Kirish 5 daqiqa (1-boʻlim) → 2-boʻlim, olti bosqich 10 daqiqa → 4-boʻlim, videoni yonma-yon koʻrish 10 daqiqa → 5-boʻlim, moslik tajribasi 12 daqiqa → 6-boʻlim, seriya xaritasi 8 daqiqa → nazorat savollari 5 daqiqa.
4 · 5-boʻlimlar 25 daqiqa → har bir jamoa "bizning ishimizdagi AI bahosi"dan birini tanlab, nima nima bilan qanday solishtirilganini teskari kuzatadi 25 daqiqa → 2-kod bilan videoni bevosita oʻlchash 20 daqiqa → 3-boʻlimdagi libos farqi asosida generatsiya mahsulotini belgilash · rozilik boʻyicha munozara 20 daqiqa.
Yangi boshlovchilar uchun faqat 2 · 4 · 6-boʻlimlar. Oʻrta darajadagilarga 1-koddagi score_dist ni bitta kadr uchun qoʻlda hisoblatib koʻring va DTW jadvalini 3 × 3 holatda toʻldirib borishni kuzattiring.
| Boʻlim | Toʻxtab beriladigan savol | Boshqaruv boʻyicha maslahat |
|---|---|---|
| 2 Bir qatorda | "Bu bosqichlardan qaysi biri shu seriyada oʻzimiz hisoblagan, qaysi biri berilgan videoga tegishli?" | Kataklarni birma-bir bosib, pastdagi izohning oxirgi jumlasini oʻqing |
| 3 Yordamchini chizish | "Namuna rasmda laboratoriya xalati, nega videoda aydol libosi?" | Bosqichni 0 → 25 ga suring va pastdagi 12 ta yakka kadr bilan solishtiring |
| 4 Video | "Ikki raqsdagi aylanish nechanchi soniyada sodir boʻladi?" | Yonma-yon koʻrishda siljishni 0 → 0.9 soniyaga suring |
| 5 Moslik | "Raqs bir xil-ku, nega 77.6%? 100% qilish uchun nima qilish kerak?" | Kechikish 1.0 soniya boʻlganda "Vaqtni moslash"ni bosing |
| 6 Xulosa | "Besh qismdagi eng muhim bitta sonni tanlasangiz, qaysi biri?" | Kartani bosib, tegishli qismga qaytib koʻring |
| Notoʻgʻri tushuncha | Toʻgʻri izoh | Koʻrsatiladigan sahna |
|---|---|---|
| "Raqsga tush!" desangiz, AI raqsni tushunib video yaratadi | Bu bir necha bosqich sonlarni bir-biriga uzatadigan oqim. Soʻz → xaritadagi nuqta → boʻgʻim koordinatalari → poza xaritasi → kadr | 2-boʻlim |
| Videoda chiqqan moslik ishonchli oʻlchov natijasi | Bu videodagi 76.5% 240 kadr davomida bir xil qiymat va uning hisoblash usuli koʻrsatilmagan | 5-boʻlim, yuqoridagi jadval |
| Moslik past boʻlsa, raqs yaxshi takrorlanmagan boʻladi | Bir xil raqs ham 1 soniya kechiksa, 77.6%. Vaqt va koʻzgu aksi moslansa, 100% boʻladi | 5-boʻlim, oʻzimiz oʻlchab koʻramiz |
| Namuna rasmdagi koʻrinish aynan chiqadi | Qoida shunday, lekin namunada yoʻq qismlarni (orqa tomon va h.k.) model toʻqib chiqaradi, bu videodagidek libos ham boshqacha boʻlishi mumkin | 3-boʻlim, pastdagi izoh |
| Poza xaritasi boʻlsa, istalgan odamni raqsga tushirish mumkin, demak muammo yoʻq | Real shaxsning tashqi koʻrinishi bilan video yaratishda shaxsning roziligi va generatsiya mahsuloti ekanini belgilash kerak | 6-boʻlim, "Insonning ulushi" |
24 × 10 = 240 kadr. 119 ÷ 24 ≈ 4.96 soniya.
exp(−0.01 / 0.02) = exp(−0.5) ≈ 0.607. Masofa σ ga teng boʻlsa, shu boʻgʻim taxminan 61 ball oladi.
Oʻzgarishsiz 77.6%, oldinga surib moslansa 100.0%. Kechikish "xato" deb hisoblangan edi.
Son katagining piksellari 240 kadr davomida birinchi kadr bilan deyarli bir xil (farq maksimal 0.07), ikki sahnadagi moslik qutilari esa bir xil vaqt nuqtalarida deyarli bir xil edi (oʻrtacha farq 0.16). Bir xil overley ikki marta ijro etilgan.
Namuna rasm — tashqi koʻrinishni (yuz · soch · kiyim), poza xaritasi — pozani. Shovqinni olib tashlashning boshida (katta konturlar) poza xaritasi, oxirida (yuz · bezaklar · naqshlar) namuna rasm koʻproq ishlaydi.
1-kodda σ ni 0.05, 0.1, 0.2 ga oʻzgartirib, "1.0 s kechikib takrorlangan raqs"ning boʻgʻim masofasi bahosini solishtiring. σ bahoga qanday ta’sir qilishini va moslikni e’lon qilganda nega σ ni ham koʻrsatish kerakligini ikki jumlada yozing.
MediaPipe yordamida bu videoning ikki sahnasidan boʻgʻim koordinatalarini ajratib oling (Yordamchi sahnasida muvaffaqiyatsiz kadrlarni ham qayd eting) va 1-koddagi score_dist va best_shift bilan haqiqiy moslikni hisoblang. Vaqtni moslashdan oldingi va keyingi baholarni hamda koʻzgu aksi qaytarilgandagi bahoni 76.5% bilan solishtirib hisobot bering.
| Boshlovchilar | 4-boʻlimdagi yonma-yon koʻrish va 5-boʻlimdagi "Vaqtni moslash" tugmasining oʻzi bu qismning asosiy mazmunini beradi |
|---|---|
| Chuqurlashtirilgan | Animate Anyone maqolasidagi tuzilma sxemasini 3-boʻlimdagi jadval (tashqi koʻrinish enkoderi · poza yoʻnaltirgich · vaqt qatlami) bilan juftlab taqdimot qildiring |
| Seriyani takrorlash | 6-boʻlimdagi beshta karta sonlari (60.7% → 99.7%, 44.2% → 0.0%, 99.8%, 1.90 → 0.01, 76.5%) har biri nimani oʻlchaganini bir qatordan tushuntirtiring |
«5-5 "Raqsga tush!" buyrugʻidan raqs videosigacha» qismigacha beshta missiyaning hammasini tugatdingiz. Laboratoriya jamoasining soʻnggi soʻzlari.