Harakat AI · 5-5 · Yakuniy missiya

"Raqsga tush!" buyrugʻidan raqs videosigacha — prompt Yordamchining raqsiga aylanguncha

CCTV tor koʻchasidagi chiziqcha odamdan boshlangan missiyaning yakuni. "Raqsga tush!" degan ikki soʻz soʻzlar xaltasidan oʻtib chiziqcha odamning raqsiga aylanadi, bu raqs esa poza xaritasiga aylanib, Yordamchining qiyofasini oladi. Haqiqiy videoni kadrma-kadr ochib koʻramiz va ekranda turgan "harakat mosligi 76.5%" nimani bildirishi va nimani bildirmasligini tahlil qilamiz.

6 bosqich"Raqsga tush!" buyrugʻidan videogacha boʻlgan jarayon zanjiri
240 kadrTahlil qilingan video (1280×720, sekundiga 24 kadr, 10 soniya)
76.5%Videoda koʻrsatilgan moslik (240 kadr davomida bir xil qiymat)
−0.92 sYordamchi chiziqcha odamdan oldinroq harakatlanadigan siljish (2-kod)
77.6%Bir xil raqsni 1 soniya kechikib takrorlaganda boʻgʻim masofasi bahosi (1-kod)
100%Siljish miqdoricha vaqt moslangandan keyingi baho (1-kod)
1Missiya

Yakuniy buyruq — "Birgina “Raqsga tush!” soʻzi bilan Yordamchini raqsga tushiring"

5-4 gacha chiziqcha odam soʻzni tushunib raqsga tushdi. Lekin u hali faqat skelet. Yakuniy missiya — shu skeletga inson qiyofasini kiydirib, video yaratish. Model boʻladigan odam — Yordamchi.

[SYSTEM] 07:30 · 5-4 bajarilgani haqidagi hisobot qabul qilindi. Yakuniy buyruq: prompt → raqs videosi. Ilova: Yordamchining namuna rasmi, bitta video (10 soniya), ikkita kadrlar varaqasi.
Doktor
DoktorYordamchining bitta surati tashqi koʻrinishni, chiziqcha odamning raqsi esa harakatni belgilaydi. Shu ikkisini shart qilib, video generatsiya modeli har bir kadrda Yordamchini yangidan chizadi.
Yordamchi
YordamchiVideoga qarasam, men aydol libosida ekanman-ku? Namuna rasmda esa laboratoriya xalatida edim… Yana ekranda "harakat mosligi 76.5%" deb turibdi. Bu yaxshimi yoki yomonmi?
Drozofila tadqiqotchisi
Drozofila tadqiqotchisiZoʻr savol! Avval bu son qanday hisoblanganini tekshirish kerak. Videoni kadrma-kadr ajratib koʻraylik. Keyin moslikni oʻzimiz oʻlchab koʻramiz.
Laboratoriya robotiVideoning 240 kadri tahlil qilindi. Son katagi boshidan oxirigacha bir marta ham oʻzgarmadi.
Pushti sochli, peshanasida toʻq koʻk chiziqli tutami, ikki tomonida soch tugunchalari bor, oq laboratoriya xalati va och binafsha kapyushon, jinsi shim va och binafsha krossovka kiygan Yordamchining old tomondan butun boʻyi
Yordamchining namuna rasmi (qahramon varaqasi, old tomon). Videodagi libosdan farqi 3-boʻlimda koʻrib chiqiladi.
2Bir qatorda

"Raqsga tush!" buyrugʻidan videogacha — olti bosqich bir qatorda

Katakni bossangiz, oʻsha bosqich tushuntiriladi. 1–4-bosqichlar shu seriyada oʻzimiz bajargan hisob-kitoblar, 5–6-bosqichlarni esa berilgan video koʻrsatadi.

BosqichKiradiChiqadiSeriyaning qismi
1–2 soʻz voronkasi"Raqsga tush!"Umumiy xaritadagi bitta nuqta (8 katak)5-4, 2 · 3-boʻlimlar
3 harakat yaratishXaritadagi nuqtaChiziqcha odam harakati (kadr × 13 ta boʻgʻim)5-3, 6-boʻlim, 5-4, 5-boʻlim
4 poza xaritasiBoʻgʻim koordinatalariQora fondagi rangli tayoqchalar rasmi (har bir kadr uchun)5-1, 3-boʻlimning teskari yoʻnalishi
5 pozaga asoslangan generatsiyaNamuna rasm + poza xaritasiYordamchi oʻsha pozada turgan kadrUshbu qism, 3-boʻlim
6 videoKadrlarRaqs videosiUshbu qism, 4-boʻlim
3Yordamchini chizish

Poza xaritasiga Yordamchini kiydiramiz — shovqindan kadr chiqarib olish

Pozaga asoslangan video generatsiya modellarining aksariyati diffuziya modellaridir. Ular tasodifiy shovqindan boshlab, har bosqichda uni asta-sekin olib tashlaydi va "tashqi koʻrinish namuna rasmdagidek, poza esa poza xaritasidagidek" degan ikki shartga tayanadi. Surgichni siljitib, shovqinni olib tashlab koʻring.

Tashqi koʻrinish enkoderiNamuna rasmdagi yuz · soch · kiyim belgilarini ajratib oladi va chizish davomida doim ularga tayanadi (ReferenceNet turidagi)
Poza yoʻnaltirgichPoza xaritasini kichik konvolyutsion neyron tarmoq bilan buklab, shovqin ustiga qoʻshadi. "Qoʻl shu yerda" degani boshidanoq belgilanadi
Vaqt qatlamiOldingi va keyingi kadrlarni bir-biriga tayantirib, kiyim rangi · sochlar miltillamasligini ta’minlaydi

Bu rasm bilan haqiqiy generatsiya oʻrtasidagi farq

Bu ekran tayyor kadrga (videodagi Yordamchiga) shovqinni nisbat boʻyicha aralashtirib, "har bosqichda asl signaldan qancha ulush qolganini" koʻrsatadi (√ᾱ hisobi haqiqiy diffuziya modelining jadvaliga asoslangan). Haqiqiy model shovqin bilan rasm kichraytirib buklangan yashirin fazoda ishlaydi va har bosqichda "bu yerda shovqin shuncha" deb bashorat qilib, uni ayiradi [R1]. Namuna rasm va poza yordamida odamni harakatlantiradigan tuzilmalarning yorqin namunasi — Animate Anyone [R2] oilasi. Berilgan video qaysi model va qanday sozlamalar bilan yaratilgani videoda koʻrsatilmagan.

Namuna rasmdagi Yordamchi laboratoriya xalatida, videodagi Yordamchi esa aydol libosida. Qoida boʻyicha, pozaga asoslangan generatsiya namuna rasmdagi tashqi koʻrinishni oʻzgarishsiz koʻchiradi. Shuning uchun video aydol libosidagi boshqa namuna rasm (masalan, quyidagi "Yordamchining 12 ta yakka kadri"dagi kabi koʻrinish) bilan yaratilgan yoki libos matnli prompt orqali oʻzgartirilgan boʻlishi mumkin. Qaysi biri ekanini faqat videoning oʻzidan bilib boʻlmaydi.
Aydol libosidagi Yordamchi yolgʻiz raqs tushayotgan 12 ta kadr: qoʻl silkitish, qoʻllarni koʻkrakda jamlash, bir marta aylanish, orqa tomon, tizzani koʻtarish va boshqalar
Yordamchining 12 ta yakka kadri. Videodagi Yordamchi bilan bir xil libos.
4Video

Videoni ochib koʻramiz — chiziqcha odam 5 soniya, Yordamchi 5 soniya

Video ikki raqsni yonma-yon emas, ketma-ket ulagan (0–4.96 s chiziqcha odam, 4.96–10 s Yordamchi). "Yonma-yon koʻrish"ni bossangiz, bitta fayl ikki ekranda ochilib, bir xil lahzalar bir-biriga solishtiriladi. Oʻng ekrandagi siljishni oʻzgartirib, ikki raqs mos keladigan lahzani topib koʻring.

Asl holicha (10 soniya)
Kadrlar varaqasi · chiziqcha odam (kadr vaqtlari 5 soniyani 12 ga boʻlgan taxminiy qiymat; bossangiz, oʻsha lahzaga oʻtadi)
1-varaq, 1-kadr1-varaq, 2-kadr1-varaq, 3-kadr1-varaq, 4-kadr1-varaq, 5-kadr1-varaq, 6-kadr1-varaq, 7-kadr1-varaq, 8-kadr1-varaq, 9-kadr1-varaq, 10-kadr1-varaq, 11-kadr1-varaq, 12-kadr
Kadrlar varaqasi · Yordamchi
2-varaq, 1-kadr2-varaq, 2-kadr2-varaq, 3-kadr2-varaq, 4-kadr2-varaq, 5-kadr2-varaq, 6-kadr2-varaq, 7-kadr2-varaq, 8-kadr2-varaq, 9-kadr2-varaq, 10-kadr2-varaq, 11-kadr2-varaq, 12-kadr
Tezlik
Koʻrinish

Boshida ovoz oʻchirilgan. "Ovozni yoqish" tugmasi bilan musiqani eshitish mumkin. Yonma-yon koʻrishda siljishni 0.9 soniya atrofiga olib boring.

4.96 sSahna almashinadigan joy (119-kadr, 2-kod)
−0.92 sHarakat kattaligi korrelyatsiyasi eng yuqori boʻlgan siljish: Yordamchi oldinroq harakatlanadi (2-kod, korrelyatsiya 0.48)
Koʻzgu aksiChiziqcha odam ekranning oʻng tomonini, Yordamchi esa chap tomonini koʻrsatadi (kadrlar varaqasining 7–8 va 4–5-kadrlari)
Musiqa borAAC stereo. Tasvirdan tashqari ovoz ham bor
5Moslik

"Harakat mosligi 76.5%"ni tahlil qilamiz

Avval videodagi son nima ekanini tekshiramiz, soʻng moslikni oʻzimiz oʻlchab koʻramiz. Bir xil raqsda ham qanday oʻlchanishiga qarab son keskin farq qiladi.

Tekshirilgan narsa (2-kod)NatijaMa’nosi
Son katagi har kadrda oʻzgaradimiBirinchi kadrdan piksel farqi maksimal 0.07240 kadr davomida 76.5% oʻzgarmaydi. Bu har kadrda qayta hisoblangan qiymat emas
Oldingi va keyingi sahnadagi moslik qutisiBir xil vaqt nuqtalari boʻyicha oʻrtacha farq 0.16Bir xil overley ikki sahnada bir martadan ijro etilgan. Pastdagi pushti chiziqning tebranishi ham shunchaki bezak
Hisoblash usuli koʻrsatilganmiYoʻqNima nima bilan, qanday baho bilan solishtirilgani videoning oʻzidan bilinmaydi

Oʻzimiz oʻlchab koʻramiz — bir xil xoreografiya, turli vaqt (tushuntirish uchun hisob)

Chapda 5 soniyalik xoreografiya (qoʻl silkitish → koʻrsatish → qoʻllarni yoyib tizza koʻtarish → ikki qoʻlni koʻtarish), oʻngda esa xuddi shu xoreografiyani kechikib takrorlayotgan raqs. Boʻgʻim masofasi bahosi — tos markazi moslangandan keyin har bir boʻgʻim uchun exp(−masofa²/2·0.1²) ning oʻrtachasi, qoʻl-oyoq yoʻnalishi bahosi — 8 ta suyak yoʻnalishi kosinus oʻxshashligining oʻrtachasi.

Bahoga qarab oʻzgaradigan Yordamchining yuz ifodasi
Takrorlovchining kechikishi1.00 s

1-kod natijasi

HolatBoʻgʻim masofasi bahosiQoʻl-oyoq yoʻnalishi bahosi
Bir xil raqs, bir xil vaqt100.0%100.0%
0.33 s kechikib takrorlangan raqs90.8%96.4%
1.0 s kechikib takrorlangan raqs77.6%87.8%
Koʻzgudek aylangan raqs82.5%88.6%
1.0 s kechikkan va koʻzgudek aylangan78.7%86.5%
1.0 s kechikkan raqsni 15 kadr oldinga surib moslash100.0%—
Dinamik vaqt egilishi (DTW) bilan moslash99.6%—
Koʻzgudek aylangan raqs: faqat vaqtni moslash / koʻzgu aksini ham qaytarish79.6% / 100.0%—

76.5% ni qanday oʻqish kerak

  1. Bir xil raqs 1 soniya kechiksa, 77.6% boʻladi. Bu 1-koddagi misol. Videodagi ikki raqs taxminan 0.9 soniya siljigan va koʻzgudek aylangan. 76.5% shunday siljishni toʻgʻridan-toʻgʻri oʻlchagan son boʻlishi mumkin, lekin hisoblash usuli koʻrsatilmagani uchun buni tekshirib boʻlmaydi.
  2. Baho turiga qarab son har xil. Bir xil 1 soniyalik kechikish boʻgʻim masofasi boʻyicha 77.6%, qoʻl-oyoq yoʻnalishi boʻyicha esa 87.8%. Moslik haqida gapirganda nima solishtirilganini ham aytish kerak.
  3. Vaqt moslansa, natija oʻzgaradi. Siljishni topib moslasangiz yoki dinamik vaqt egilishidan foydalansangiz, bir xil raqs 100% ga yaqinlashadi. "Raqsni yaxshi takrorladimi?" va "bir lahzada bir xil pozada edimi?" — bular turli savollar.
6Xulosa

Chiziqcha odam bosib oʻtgan yoʻl — beshta missiya bitta varaqda

CCTV tor koʻchasidagi bitta chiziqcha odam belgiga aylandi, generatsiya uchun xomashyo boʻldi, buklanib-yoyildi, soʻz bilan juftlashdi va oxirida Yordamchining raqsiga aylandi. Kartani bossangiz, oʻsha qismga oʻtasiz.

Seriyani bogʻlab turadigan bir jumla
  • Hamma narsa — son: CCTV tasviri ham, boʻgʻimlar ham, jumlalar ham songa aylantirilgandan keyingina hisoblash mumkin.
  • Yaxshi ifoda — ishning yarmi: 4 ta belgi (5-1), burchaklar (5-2), 16 ta yashirin son (5-3), umumiy xarita (5-4) kabi, nima bilan ifodalash natijani belgilaydi.
  • Tanish va yaratish bir xil sonlarni turli yoʻnalishda ishlatadi: chiqindi tashlashni aniqlagan chiziqcha odam raqsning skeletiga aylandi.
Oxirigacha qoladigan savollar
  • Songa ishonishdan oldin: 99.7% sintetik ma’lumotlardagi natija edi, 76.5% ning esa hisoblash usuli koʻrsatilmagan. Son yonida doim "nimani, qanday" boʻlishi kerak.
  • Insonning ulushi: chiqindi tashlash haqidagi qarorni yakuniy tekshirish (5-1), real shaxslarning harakati va tashqi koʻrinishidan foydalanishga rozilik (5-2 · 5-5) uchun inson javobgar.

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colab’da standart oʻrnatilgan kutubxonalardan foydalanadi. "Notebook (.ipynb) yuklab olish" tugmasini bosgach, Colab’da Fayl → Notebookni yuklash orqali oching yoki kodni nusxalab, yangi notebook katagiga joylashtiring.

1-kod · Harakat mosligi qanday oʻlchanadi5-boʻlim bilan bogʻliq · numpy · CPU taxminan 5 soniya

5 soniyalik xoreografiya yaratib, uni kechikib takrorlangan yoki koʻzgudek aylantirilgan raqs bilan ikki xil baho orqali solishtiradi. Vaqtni moslash va dinamik vaqt egilishi (DTW) ham bor. Oʻz ma’lumotlaringizga moslash uchun dance_seq oʻrniga ikki videodan poza baholash orqali olingan boʻgʻim koordinatalarini (kadr, 13, 2) A va B ga bering.

Ishga tushirish natijasi (2026-10-05 da ishga tushirilgan, numpy 2.4 · CPU). Tasodifiy sonlar ishlatilmagani uchun har doim bir xil natija chiqadi.
2-kod · Videoni sonlarga ajratib koʻrish (OpenCV)4 · 5-boʻlimlar bilan bogʻliq · numpy, OpenCV · CPU taxminan 3 soniya · video fayl kerak

Videoning oʻlchami · davomiyligi, sahna almashinuvi, moslik son katagining oʻzgarishi va ikki sahna orasidagi vaqt siljishini oʻlchaydi. 4 · 5-boʻlimlardagi video tahlili sonlari shu yerdan olingan. Video fayl sifatida ushbu sahifadagi bilan bir xil match_score_video.mp4 ni Colab’ga yuklab ishlating.

Ishga tushirish natijasi (2026-10-05 da ishga tushirilgan, numpy 2.4 · OpenCV 4.13 · CPU). Video bir xil boʻlsa, har doim bir xil natija chiqadi.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta sifatida ishlatish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. "Nusxalash" tugmasini bossangiz, prompt ortidan tanlangan kod ham qoʻshiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozing.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Haqiqiy odamlar tushgan videolardan foydalanganda avval suratga olishga rozilik va shaxsiy ma’lumotlarni qayta ishlash qoidalarini tekshiring.

Atamalar lugʻati

Matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish notoʻgʻri boʻladigan joylar

Oʻxshatish — tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Inson idroki bilan qiyoslangan oʻxshatishlarga kuchlilik darajasi belgilangan. Bevosita haqiqatan bir xil ish bajarilishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshaydi · Yoʻq mos keladigan narsa ma’lum emas

TushunchaKundalik oʻxshatishInson idroki bilan oʻxshatishOʻxshatish notoʻgʻri boʻladigan joy
Pozaga asoslangan generatsiyaManeken pozasini sozlab, ustiga kiyim kiydirib suratga olishQisman Inson harakatni koʻrib, shu harakatni qilayotgan muayyan odamni koʻz oldiga keltirishiManekendagi kiyim oʻzgarmaydi, generativ model esa har kadrda kiyim va yuzni yangidan chizgani uchun ular biroz farq qilishi mumkin
Namuna rasmAktyorning profil suratiYoʻqProfil suratida yoʻq orqa tomon · barmoqlarni model oʻzi toʻqib chiqaradi. Toʻqilgan qismlar asl odamdan farq qilishi mumkin
Poza xaritasiRaqs notasi (xoreografiya yozuvi)YoʻqXoreografiya yozuvini inson oʻqib talqin qiladi, poza xaritasi esa faqat boʻgʻimlar joylashuvini saqlaydi. Yuz ifodasi · barmoqlar · ritm tushib qoladi
Harakat mosligiKaraoke bahosiYoʻqKaraoke bahosi kabi hisoblash usuli yashirilgan boʻlsa, faqat songa qarab yaxshi bajarilganini bilib boʻlmaydi. Avval nima nima bilan qanday solishtirilganini bilish kerak
Vaqtni moslash (DTW)Ritmi siljigan ikki kishining raqs videosini ritmga moslab qayta montaj qilishQisman Inson ritm biroz siljisa ham "bir xil raqs" deb taniydiDTW tartibni oʻzgartirmaydi, faqat choʻzadi va qisqartiradi. Harakatlar tartibi oʻzgargan raqsni moslay olmaydi

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasm va raqamlar manbalari

E-1 Muallif haqida

Ahn Sangsun (M-Robo kompaniyasi rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaper’ning tashqi venchur kompaniyasi M-Robo’ga asos solib, uning rahbari sifatida faoliyat yuritmoqda. M-Robo — ommaviy axborot vositasi ichidagi venchur sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, shuningdek Koreya Internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radioeshittirish, telekommunikatsiya va radiochastotalarni rivojlantirish agentligi va boshqa tashkilotlar bilan koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining AI yangiliklar nashri Money-Robo’ni yuritmoqda. Rahbarlik davrida Osiyo ochiq ma’lumotlar xakatonida gʻolib chiqqan, ma’lumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sun’iy intellekt va blokcheyn sohalarida 5 ta patentning muallifi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi; Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti uchun fintex, statistika va sun’iy intellekt sohalarida elektron ta’lim kontentini ishlab chiqqan. Iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda ma’lumotlar va sun’iy intellektga oid fanlardan dars beradi. Batafsil profil

Kurslar

  • Ahn Sangsun (2025). «Biznes uchun ma’lumotlar fani» ma’ruza materiallari. Koreya ochiq kiberuniversiteti, Sun’iy intellekt integratsiyasi kafedrasi.
  • Ahn Sangsun (2025). [K-Digital] Sun’iy intellekt yordamida tabiiy tilni qayta ishlash. STEP (Aqlli kasbiy ta’lim platformasi), Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti.
  • Ahn Sangsun (2024). [K-Digital] Fintex ma’lumotlarini tahlil qilish asoslari. STEP (Aqlli kasbiy ta’lim platformasi), Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti.

STEP kurslariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli kirishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va chiqishlar

  • Ahn Sangsun (2025). Milliy keksalik ta’minoti panel ma’lumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sun’iy intellekt modellariga asoslangan yondashuv. «Mirae Sahoe» (Kelajak jamiyati), 16(2). Toʻliq matn
  • Ahn Sangsun (2025). Milliy keksalik ta’minoti panel ma’lumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sun’iy intellekt yondashuvi. Milliy keksalik ta’minoti paneli ilmiy konferensiyasi taqdimoti (2025.05.13), Milliy pensiya xizmati qoshidagi Milliy pensiya tadqiqot instituti. Taqdimot
  • Ahn Sangsun (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Mirae Sahoe» (Kelajak jamiyati), 16(1). Toʻliq matn
  • Ahn Sangsun (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan adversarial ma’lumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Mirae Sahoe» (Kelajak jamiyati), 15(3). Toʻliq matn
  • Ahn Sangsun (2024). Sun’iy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster taqdimoti (2024.06.19), Seul media magistratura universiteti.
  • Ahn Sangsun (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel ma’lumotlaridan foydalangan holda mashinaviy oʻrganish modeli. Ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli 10-ilmiy konferensiyasi poster taqdimoti (2024.05.17), Koreya mehnat farovonligi xizmati qoshidagi Mehnat farovonligi tadqiqot instituti.
  • Ahn Sangsun (2024). Virtual aktivlar vaqt qatorlari ma’lumotlarini tahlil qilish va bashorat qilish: vaqt qatori modellari va sun’iy intellekt modellarini solishtirish, takomillashtirish yoʻllarini taklif etish. «Mirae Sahoe» (Kelajak jamiyati), 15(1). Toʻliq matn

E-2 Ilmiy manbalar

  1. [R1] Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems 33. arXiv:2006.11239 — 3-boʻlim
  2. [R2] Hu, L., Gao, X., Zhang, P., Sun, K., Zhang, B., & Bo, L. (2024). Animate Anyone: Consistent and controllable image-to-video synthesis for character animation. CVPR 2024. arXiv:2311.17117 — 2 · 3-boʻlimlar
  3. [R3] Cao, Z., Simon, T., Wei, S.-E., & Sheikh, Y. (2017). Realtime multi-person 2D pose estimation using part affinity fields. CVPR 2017. arXiv:1611.08050 — 2-boʻlim (poza xaritasining rangli tayoqchalar formati)
  4. [R4] Sakoe, H., & Chiba, S. (1978). Dynamic programming algorithm optimization for spoken word recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing, 26(1), 43–49. doi:10.1109/TASSP.1978.1163055 — 5-boʻlim (dinamik vaqt egilishi)
  5. [R5] Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., & Zitnick, C. L. (2014). Microsoft COCO: Common objects in context. ECCV 2014. arXiv:1405.0312 — 5-boʻlim (boʻgʻim masofasiga asoslangan OKS bahosining manbai)

E-3 Rasmlar va raqamlarning manbasi

  • Yordamchining qahramon varaqasi, yuz ifodalari varaqasi, ikkita kadrlar varaqasi, Yordamchining 12 ta yakka kadri va raqs videosi muallif tomonidan tayyorlangan materiallardir
  • 4 · 5-boʻlimlardagi video tahlili sonlari 2-kod yordamida videoni bevosita oʻlchab olingan qiymatlardir. Kadrlar varaqasidagi vaqtlar 5 soniyani 12 ga boʻlgan taxminiy qiymatlardir
  • 5-boʻlimdagi moslik hisobi tushuntirish uchun yaratilgan xoreografiya bilan bajarilgan, videodagi 76.5% qayta hisoblangan emas
  • 3-boʻlimdagi shovqinli rasm tayyor kadrga shovqin aralashtirib koʻrsatilgan. Bu haqiqiy generatsiya jarayonining yozuvi emas

Oʻqituvchilar uchun maslahatlar

Bu oʻqituvchilar, amaliy OJT mas’ullari va tyutorlar uchun mashgʻulotni olib borish boʻyicha qoʻllanma. Vaqtlar taxminiy, shuning uchun ularni haqiqiy darsga moslang. Bu qismdan seriyani yakunlovchi dars sifatida ham foydalanish mumkin.

Kimlar uchun5-1–5-4 ni tugatgan talabalar va xodimlar. Ishda generatsiya qilingan videolar va "AI baholari" bilan ishlaydigan rejalashtiruvchilar va amaliyotchilar
Oldindan kerakli bilimlar5-1 dagi poza baholash, 5-4 dagi soʻz → harakat, diffuziya modelining asosiy gʻoyasi (shovqinni olib tashlash)
Oʻquv maqsadlari① Promptdan videogacha boʻlgan olti bosqichni tartib bilan tushuntiradi ② Namuna rasm va poza xaritasi har biri nimani belgilashini aytadi ③ Moslik kabi sonlarni koʻrganda "nima, qanday solishtirildi?" deb soʻraydi va vaqt siljishi bahoni qanday oʻzgartirishiga misol keltiradi
Taxminiy vaqtOʻqish 30–40 daqiqa · video namoyishi 20 daqiqa · Colab amaliyoti 25 daqiqa (1-kod 12 daqiqa, 2-kod 13 daqiqa)

Uch xil dars rejasi

Ma’ruza shaklida, 50 daqiqa

Seriyani yakunlashga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlim) → 2-boʻlim, olti bosqich 10 daqiqa → 4-boʻlim, videoni yonma-yon koʻrish 10 daqiqa → 5-boʻlim, moslik tajribasi 12 daqiqa → 6-boʻlim, seriya xaritasi 8 daqiqa → nazorat savollari 5 daqiqa.

Ish joyida oʻqitish (OJT), 90 daqiqa

Bahoni tekshirishga yoʻnaltirilgan

4 · 5-boʻlimlar 25 daqiqa → har bir jamoa "bizning ishimizdagi AI bahosi"dan birini tanlab, nima nima bilan qanday solishtirilganini teskari kuzatadi 25 daqiqa → 2-kod bilan videoni bevosita oʻlchash 20 daqiqa → 3-boʻlimdagi libos farqi asosida generatsiya mahsulotini belgilash · rozilik boʻyicha munozara 20 daqiqa.

Yakkama-yakka tyutorlik

Darajaga qarab sur’at

Yangi boshlovchilar uchun faqat 2 · 4 · 6-boʻlimlar. Oʻrta darajadagilarga 1-koddagi score_dist ni bitta kadr uchun qoʻlda hisoblatib koʻring va DTW jadvalini 3 × 3 holatda toʻldirib borishni kuzattiring.

Boʻlimlar boʻyicha asosiy nuqtalar

BoʻlimToʻxtab beriladigan savolBoshqaruv boʻyicha maslahat
2 Bir qatorda"Bu bosqichlardan qaysi biri shu seriyada oʻzimiz hisoblagan, qaysi biri berilgan videoga tegishli?"Kataklarni birma-bir bosib, pastdagi izohning oxirgi jumlasini oʻqing
3 Yordamchini chizish"Namuna rasmda laboratoriya xalati, nega videoda aydol libosi?"Bosqichni 0 → 25 ga suring va pastdagi 12 ta yakka kadr bilan solishtiring
4 Video"Ikki raqsdagi aylanish nechanchi soniyada sodir boʻladi?"Yonma-yon koʻrishda siljishni 0 → 0.9 soniyaga suring
5 Moslik"Raqs bir xil-ku, nega 77.6%? 100% qilish uchun nima qilish kerak?"Kechikish 1.0 soniya boʻlganda "Vaqtni moslash"ni bosing
6 Xulosa"Besh qismdagi eng muhim bitta sonni tanlasangiz, qaysi biri?"Kartani bosib, tegishli qismga qaytib koʻring

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushunchaToʻgʻri izohKoʻrsatiladigan sahna
"Raqsga tush!" desangiz, AI raqsni tushunib video yaratadiBu bir necha bosqich sonlarni bir-biriga uzatadigan oqim. Soʻz → xaritadagi nuqta → boʻgʻim koordinatalari → poza xaritasi → kadr2-boʻlim
Videoda chiqqan moslik ishonchli oʻlchov natijasiBu videodagi 76.5% 240 kadr davomida bir xil qiymat va uning hisoblash usuli koʻrsatilmagan5-boʻlim, yuqoridagi jadval
Moslik past boʻlsa, raqs yaxshi takrorlanmagan boʻladiBir xil raqs ham 1 soniya kechiksa, 77.6%. Vaqt va koʻzgu aksi moslansa, 100% boʻladi5-boʻlim, oʻzimiz oʻlchab koʻramiz
Namuna rasmdagi koʻrinish aynan chiqadiQoida shunday, lekin namunada yoʻq qismlarni (orqa tomon va h.k.) model toʻqib chiqaradi, bu videodagidek libos ham boshqacha boʻlishi mumkin3-boʻlim, pastdagi izoh
Poza xaritasi boʻlsa, istalgan odamni raqsga tushirish mumkin, demak muammo yoʻqReal shaxsning tashqi koʻrinishi bilan video yaratishda shaxsning roziligi va generatsiya mahsuloti ekanini belgilash kerak6-boʻlim, "Insonning ulushi"

Nazorat savollari (izohni koʻrish uchun bosing)

Q1. Sekundiga 24 kadr, 10 soniyalik videoda nechta kadr bor? Sahna almashinuvi 119-kadrda boʻlsa, bu necha soniya?

24 × 10 = 240 kadr. 119 ÷ 24 ≈ 4.96 soniya.

Q2. Boʻgʻim masofasi 0.1 boʻlsa, shu boʻgʻimning bahosi exp(−d²/2σ²) qancha? (σ = 0.1)

exp(−0.01 / 0.02) = exp(−0.5) ≈ 0.607. Masofa σ ga teng boʻlsa, shu boʻgʻim taxminan 61 ball oladi.

Q3. Bir xil raqs 1 soniya kechikib takrorlandi. Kadrlarni oʻzgarishsiz solishtirgandagi baho va 15 kadr oldinga surib solishtirgandagi baho qancha? (1-kod)

Oʻzgarishsiz 77.6%, oldinga surib moslansa 100.0%. Kechikish "xato" deb hisoblangan edi.

Q4. Videodagi 76.5% har kadrda hisoblangan qiymat emasligi qanday aniqlandi?

Son katagining piksellari 240 kadr davomida birinchi kadr bilan deyarli bir xil (farq maksimal 0.07), ikki sahnadagi moslik qutilari esa bir xil vaqt nuqtalarida deyarli bir xil edi (oʻrtacha farq 0.16). Bir xil overley ikki marta ijro etilgan.

Q5. Pozaga asoslangan generatsiyada namuna rasm va poza xaritasi har biri nimani belgilaydi? 3-boʻlimdagi shovqinli rasmda qaysi bosqich qaysi shartning ulushi?

Namuna rasm — tashqi koʻrinishni (yuz · soch · kiyim), poza xaritasi — pozani. Shovqinni olib tashlashning boshida (katta konturlar) poza xaritasi, oxirida (yuz · bezaklar · naqshlar) namuna rasm koʻproq ishlaydi.

Colab topshiriqlari

Asosiy

1-kodda σ ni 0.05, 0.1, 0.2 ga oʻzgartirib, "1.0 s kechikib takrorlangan raqs"ning boʻgʻim masofasi bahosini solishtiring. σ bahoga qanday ta’sir qilishini va moslikni e’lon qilganda nega σ ni ham koʻrsatish kerakligini ikki jumlada yozing.

Murakkab

MediaPipe yordamida bu videoning ikki sahnasidan boʻgʻim koordinatalarini ajratib oling (Yordamchi sahnasida muvaffaqiyatsiz kadrlarni ham qayd eting) va 1-koddagi score_dist va best_shift bilan haqiqiy moslikni hisoblang. Vaqtni moslashdan oldingi va keyingi baholarni hamda koʻzgu aksi qaytarilgandagi bahoni 76.5% bilan solishtirib hisobot bering.

Qiyinlikni sozlash va qoʻshimcha oʻrganish

Boshlovchilar4-boʻlimdagi yonma-yon koʻrish va 5-boʻlimdagi "Vaqtni moslash" tugmasining oʻzi bu qismning asosiy mazmunini beradi
ChuqurlashtirilganAnimate Anyone maqolasidagi tuzilma sxemasini 3-boʻlimdagi jadval (tashqi koʻrinish enkoderi · poza yoʻnaltirgich · vaqt qatlami) bilan juftlab taqdimot qildiring
Seriyani takrorlash6-boʻlimdagi beshta karta sonlari (60.7% → 99.7%, 44.2% → 0.0%, 99.8%, 1.90 → 0.01, 76.5%) har biri nimani oʻlchaganini bir qatordan tushuntirtiring

Barcha missiyalar bajarildi!

«5-5 "Raqsga tush!" buyrugʻidan raqs videosigacha» qismigacha beshta missiyaning hammasini tugatdingiz. Laboratoriya jamoasining soʻnggi soʻzlari.

Ikki qoʻlini keng koʻtargan, aydol libosidagi Yordamchi
Doktor
DoktorTungi soat ikkida tor koʻchada boshlab, shu yergacha yetib keldik.
  • Chiziqcha odam bilan tanidik (5-1)
  • teskari aylantirib yaratdik (5-2), buklab-yoydik (5-3)
  • soʻz bilan juftladik (5-4), raqs videosiga aylantirdik (5-5)
Yordamchi
YordamchiMen raqs tushayotgan video tayyor boʻldi! …Keyingi safar moslik qanday oʻlchanganini ham albatta yozib qoʻyishlarini soʻrayman.
Drozofila tadqiqotchisi
Drozofila tadqiqotchisiMissiya bajarildi! Endi haqiqatan uxlasang boʻladi. Bosh sahifada bajarildi belgisini qoʻyishni unutma!