5-4 Soʻzdan harakatga — soʻz va imo-ishorani bitta xaritaga joylaymiz

1Missiya

Toʻrtinchi topshiriq — "Soʻz bilan buyurilsa, harakatlansin"

5-3-qismdagi E generatori uchun "otishlar toʻplangan joy"ni biz oʻzimiz tanlab berishimiz kerak edi. Bu safar uni odam soʻz bilan tanlaydi. Buning uchun soʻz ham xaritadagi nuqtaga aylanishi kerak.

[SYSTEM] 06:20 · 5-3 boʻyicha yakuniy hisobot qabul qilindi. Keyingi topshiriq: gap orqali harakat tanlash. Ilova: yettinchi sahna "raqs tushish", har bir sahnaga biriktirilgan 4 tadan gap.

DoktorHar bir harakatga tavsif gapini biriktirdim. "캔을 멀리 던진다" (bankani uzoqqa otadi), "반갑게 손을 흔든다" (xursand boʻlib qoʻl silkitadi)… Gap va harakatni juft qilib bogʻlaymiz: juftlar xaritada yaqin, begonalar esa uzoq boʻlsin!

YordamchiLekin gap — bu harflar-ku. Voronkaga solish uchun harflarni ham songa aylantirish kerak, shundaymi?

Drozofila tadqiqotchisiEng oson usuldan boshlaymiz. Lugʻatdagi soʻz boʻlagi gapda boʻlsa 1, boʻlmasa 0. Bu — soʻzlar xaltasi. Qoʻpol, lekin qayerda xato qilishini koʻrish uchun ayni muddao.

Laboratoriya robotiRaqs sahnasi qoʻshilib, harakatlar yetti turga yetdi. Har bir tur uchun toʻrttadan gap bor, ulardan bittasi sinov uchun yashirib qoʻyildi.

Chiziqcha odam yorqin klaviaturada yozganda nutq pufakchasidan harf boʻlaklari oqib chiqib, tobora shoʻx raqsga tushayotgan beshta chiziqcha odam qatoriga aylanadi; Yordamchi, Doktor va robotlar quvonayotgan sahna — Gap boʻlaklarga sochilib, harakatga aylanadigan sahna. 2–5-boʻlimlarda bu yoʻlni ketma-ket quramiz.

2Soʻz — bu son

Soʻz ham son — 40 katakli soʻzlar xaltasi

Gap kiriting yoki misollardan birini bosing. Lugʻatdagi 40 ta soʻz boʻlagidan faqat gapda borlari 1 ga aylanadi. Mana shu 40 ta son soʻz voronkasining kirishidir.

Nutq pufakchasi va yorqin toʻrtburchak boʻlaklar orasida boʻlaklarni otib, bir qatorga terib, qoʻliga koʻtarganda kichkina chiziqcha odam raqsga tushadigan matnli prompt chiziqcha odami — Gapni boʻlaklarga ajratadigan matnli prompt mas’uli

Yangi boshlovchilar uchun tushuntirish

Soʻzlar xaltasi gapga faqat "qaysi soʻzlar bor" degan nuqtai nazardan qaraydi. Tartib, qoʻshimchalar va kontekst — barchasi tashlab yuboriladi. Shuning uchun "길에 캔을 던져 버린다" (koʻchaga bankani otib yuboradi) gapidagi "버린" bilan "쓰레기통에 쓰레기를 버린다" (chiqindini qutiga tashlaydi) gapidagi "버린" bir xil katakni yoqadi. Biri chiqindi tashlash, ikkinchisi esa normal holat boʻlsa ham. Bu qoʻpollik 6-boʻlimda haqiqiy xato boʻlib namoyon boʻladi. Gapning tartibi va kontekstini ham songa joylash usullari 3-5 va 3-8-qismlarda koʻriladi.

3Juftlash

Juftlash — chigal chiziqlar oʻz juftini topadi

Chapda gaplar, oʻngda harakatlar (tartibi ataylab aralashtirilgan). Chiziq qalinligi — gapning oʻsha harakatni tanlash ehtimoli. "Oʻqitishni ijro etish" tugmasini bosing yoki slayderni surib, oʻqitishni davom ettiring.

Oʻqitish qadami0

Chapdagi gaplar

1-kod natijasi — oʻqitish qadamlariga koʻra

Oʻqitish qadami	Juftlash yoʻqotishi	7 ta sinov gapi → eng yaqin 5 ta sinov harakati orasida oʻz turi	140 ta sinov harakati → eng yaqin gapning turi toʻgʻri
0	—	2.9%	10.0%
10	1.763	28.6%	55.0%
25	1.317	65.7%	72.1%
50	0.395	71.4%	96.4%
100	0.090	71.4%	100.0%
400	0.010	71.4%	100.0%

Yuqoridagi ekrandagi oʻqitish brauzerda xuddi shu hisobni qayta bajargani uchun (tasodifiy sonlar boshqacha) qadamlar boʻyicha sonlar biroz farq qiladi. Sinov gaplarining 7 tasidan 5 tasi oʻz harakatini topdi. Topa olmagan 2 tasini 6-boʻlimda koʻramiz.

Kontrastiv oʻrganish nimani tuzatadi

Har bir turdan bitta sahna va bitta gap olinadi. Jami 7 juft.
7 ta gap soʻz voronkasi (40 → 8) orqali, 7 ta sahna esa harakat voronkasi (5-3-qismdagi 16 ta son → 8) orqali buklanadi.
Ikkalasini koʻpaytirib (skalyar koʻpaytma), 7 × 7 ballar jadvali tuziladi. Diagonal — haqiqiy juftlar.
Har bir qator va har bir ustun boʻyicha softmax bilan ehtimollar hosil qilinadi va diagonaldagi ehtimollar 1 ga yaqinlashishi uchun ikkala voronkaning vaznlari biroz tuzatiladi. Bu 400 marta takrorlanadi.

Soʻz va rasmni shu tarzda moslagan CLIP [R1] hamda soʻz va harakatni moslagan MotionCLIP [R2] xuddi shu tamoyilga asoslanadi. Haqiqiy modellar soʻz voronkasi sifatida transformerdan, juftlar sifatida esa yuz millionlab juftlardan foydalanadi.

4Bitta xarita

Bitta xaritadagi soʻz va harakat

8 katakli xaritadagi nuqtalarni uzunligi 1 ga keltirib (faqat yoʻnalishga qarash uchun), eng keng tarqaladigan ikki yoʻnalishga proyeksiya qilib chizdik. Doirachalar — harakat sahnalari, rombchalar — gaplar. Oʻqitish qadamini 0 dan 400 gacha surib, gaplar oʻz harakatlari toʻdasi yoniga borayotganini kuzating.

Oʻqitish qadami400

Oʻqitishdan keyin bir xil rangdagi doirachalar (harakat) va rombchalar (gap) bir joyga toʻplanadi. Soʻz va harakat "bitta xaritaning bitta mahallasi"da yashaydigan boʻldi. Endi bitta gapni xaritaga qoʻysak, uning yaqinidagi harakatni olib chiqishimiz yoki oʻsha mahalladan yangi harakat tanlab olishimiz mumkin.

5Soʻz → harakat

Gap kiritsangiz, chiziqcha odam harakatlanadi

Gap kiriting va Enter ni bosing. "Topish" xaritadagi eng yaqin sahnani oʻzgartirmay olib chiqadi, "Yaratish" esa eng yaqin 5 ta sahna toʻplangan joydan yangi harakat tanlab oladi. Ikki gapni "~다가" (…ayotib) yoki "~고 나서" (…gandan keyin) bilan bogʻlasangiz, ular oldinma-ketin ulanadi.

Usul

2-kod natijasi — yaratilgan harakat haqiqatan oʻsha turdanmi

Usul	21 ta oʻqitish gapi (×5 marta)	7 ta sinov gapi (×5 marta)
Topish	100.0%	71.4%
Yaratish	100.0%	71.4%

Yaratilgan harakat turi 5-3-qismdagi yashirin fazoda qaysi tur markaziga eng yaqinligiga qarab aniqlandi. "춤춰" (raqsga tush) → yaratilgan harakat raqs tushish deb aniqlandi, suyak uzunligi xatosi 5.4% boʻldi. Ulash: "걸어가다가 손을 흔든다" (yurib ketayotib qoʻl silkitadi) → birinchi yarmi oʻtib ketish · ikkinchi yarmi qoʻl silkitish, "손을 흔들고 나서 춤춰" (qoʻl silkitib, keyin raqsga tush) → qoʻl silkitish · raqs tushish, "캔을 줍고 쓰레기통에 넣는다" (bankani olib, qutiga soladi) → yerdan olish · qutiga solish.

Yaratishni yanada yaxshilash uchun

Bu qismdagi "yaratish" xaritada yaqin joylashgan beshta sahna toʻplangan joyni oʻrtacha qiymat va tarqoqlik bilan taxminlaydi va 5-3-qismdagi chiziqli dekoder bilan yoyadi. Haqiqiy matn–harakat generativ modellari gapni shart sifatida qabul qilib, shovqindan harakatni ajratib oladigan diffuziya modelidan (MDM [R4]) yoki harakatni tokenlarga aylantirib, keyingi tokenni davom ettirib yozadigan usuldan (T2M-GPT [R5]) foydalanadi. Oʻqitish ma’lumoti sifatida har bir harakatga odamlar gap biriktirgan HumanML3D [R3] keng qoʻllaniladi.

6Cheklovlar

Soʻzlar xaltasi xato qiladigan joylar va yakuniy missiya

7 ta sinov gapidan 2 tasi notoʻgʻri harakatni topdi. Ikkalasining ham sababi aniq.

Sinov gapi	Toʻgʻri javob	Topilgan harakat (eng yaqin 5 ta)	Nega xato qildi
"길에 캔을 던져 버린다" (koʻchaga bankani otib yuboradi)	Uzoqqa otish	Qutiga solish × 5	"던져" oʻqitish gaplarida boʻlmagan boʻlak, "버린" esa solish gapidan ("쓰레기통에 쓰레기를 버린다" — chiqindini qutiga tashlaydi) oʻrganilgan boʻlak. Kontekstni bilmagani uchun "버린다 = solish" tomonga tortib ketildi
"손을 펴서 떨어뜨리고 걸어간다" (qoʻlini ochib tushirib yuboradi va ketadi)	Oyoq ostiga tushirish	Oʻtib ketish × 5	"걸어" va "간다" oʻtib ketish tomonga kuchli tortdi. Qaysi soʻz asosiy harakat ekanini (tushirish) soʻzlar xaltasi bilmaydi
"걷다가 손 흔들기" (yurayotib qoʻl silkitish) (5-boʻlim)	Oʻtib ketish → qoʻl silkitish	Birinchi yarmi notoʻgʻri	"걷" lugʻatda bor, lekin oʻqitish gaplarida bir marta ham uchramagan (oʻqitish gaplarida hammasi "걸어"). Oʻrganilmagan katak xaritada hech qayerni koʻrsatmaydi

Yuqoridagi jadvaldagi "topilgan harakat" — 1-kod natijasi. Brauzerda qayta oʻqitilgan 5-boʻlimda "길에 캔을 던져 버린다" (koʻchaga bankani otib yuboradi) ba’zan yerdan olish tomonga ham ketadi. Oʻqitishdagi tasodifiy sonlarga qarab tortilgan joy farq qilsa-da, otishni topa olmaslik sababi (kontekstni bilmaydigan soʻzlar xaltasi) bir xil.

Bu qismda bilib olganlarimiz

Soʻz ham nuqtaga aylanadi: gapni songa aylantirib, voronka bilan buklasak, u harakat bilan bitta xaritaga joylashadi.
Juftlar orqali oʻrganadi: kontrastiv oʻrganish faqat "juftlar yaqin, begonalar uzoq" tamoyili bilan ikki voronkani moslaydi. Yoʻqotish 1.90 → 0.01.
Xaritadan olib chiqadi va tanlaydi: topish va yaratish, hamda gap tartibida ulash.

Qolgan muammolar

Soʻz voronkasi juda sayoz: tartib, kontekst va notanish soʻzlarni qayta ishlash uchun transformer kabi matn enkoderi kerak (3-8).
Chiziqcha odam — baribir chiziqcha odam: raqs yaratildi, lekin hozircha bu faqat skelet. Shu skeletga odamning (Yordamchining) qiyofasini kiydirib, videoga aylantirish — yakuniy missiya.

Musiqa notalari suzib yurgan joyda chiziqcha odam old, yon va orqa tomondan turibdi; pastki qatorda qoʻlni siltash, aylanish, ishora qilish va tizzani koʻtarishdan iborat toʻrtta raqs pozasi — Keyingi missiya e’loni · chiziqcha odamning raqs harakatlari kartochkasi

Doktor"춤춰" (raqsga tush) degan birgina soʻz bilan chiziqcha odam raqsga tushdi. Oxirgisi — shu skeletga odam qiyofasini kiydirish. Yordamchi, tayyormisan?

Yordamchi…Baribir raqsga men tusharkanman-da. Chiziqcha odam raqsga tushsa, men xuddi shunday takrorlab raqsga tushayotgan video chiqadi, shundaymi?

Drozofila tadqiqotchisi5-5-qismda haqiqiy videoni ochib koʻramiz. Ekranda "harakat mosligi" degan son ham chiqib turgan ekan.

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colab’da standart oʻrnatilgan kutubxonalardan foydalanadi. "Notebook (.ipynb) yuklab olish" tugmasini bosgach, Colab’da Fayl → Notebookni yuklash orqali oching yoki kodni nusxalab, yangi notebook katagiga joylashtiring.

1-kod · Soʻzlar xaltasi va kontrastiv oʻrganish — soʻz va harakat bitta xaritada2–4-boʻlimlarga bogʻliq · numpy · CPU taxminan 5 soniya

Raqs sahnasini qoʻshib, gapni soʻzlar xaltasiga, harakatni 16 ta songa aylantirgach, ikki voronkani kontrastiv oʻrganish bilan moslaydi. Oʻqitish qadamlari boʻyicha yoʻqotishni va sinov gaplarining toʻgʻri topilishini chiqaradi. Oʻz ma’lumotlaringizga moslash uchun CAPTIONS ga oʻz harakatlaringizning tavsif gaplarini, VOCAB ga esa ishlatiladigan soʻz boʻlaklarini kiriting.

Ishga tushirish natijasi (2026-10-05 da ishga tushirilgan, numpy 2.4 · CPU). Seed qotirilgani uchun har doim bir xil natija chiqadi.

2-kod · Soʻz kiritsangiz, harakat chiqadi — topish, yaratish, ulash5-boʻlimga bogʻliq · numpy · CPU taxminan 5 soniya

Oʻqitilgan ikki voronka yordamida gap → harakatni topadi yoki yangidan yaratadi, "~다가" (…ayotib) bilan bogʻlangan gapni oldinma-ketin ulaydi. Yaratilgan harakat turini yashirin fazoda aniqlaydi. 5-boʻlimdagi jadval aynan shu natijadan tuzilgan.

Ishga tushirish natijasi (2026-10-05 da ishga tushirilgan, numpy 2.4 · CPU). Seed qotirilgani uchun har doim bir xil natija chiqadi.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta sifatida ishlatish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. "Nusxalash" tugmasini bossangiz, prompt ortidan tanlangan kod ham qoʻshiladi. 〔〕 ichidagini oʻz vaziyatingizga moslab yozing.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Haqiqiy odamlar tushgan videolardan foydalanganda avval suratga olishga rozilik va shaxsiy ma’lumotlarni qayta ishlash qoidalarini tekshiring.

Atamalar lugʻati

Matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish notoʻgʻri boʻladigan joylar

Oʻxshatish — tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Inson idroki bilan qiyoslangan oʻxshatishlarga kuchlilik darajasi belgilangan. Bevosita haqiqatan bir xil ish bajarilishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshaydi · Yoʻq mos keladigan narsa ma’lum emas

Tushuncha	Kundalik oʻxshatish	Inson idroki bilan oʻxshatish	Oʻxshatish notoʻgʻri boʻladigan joy
Soʻzlar xaltasi	Gapni soʻz kartochkalariga qirqib, xaltaga solib silkitish	Yoʻq	Xaltadan olingan kartochkalarda tartib yoʻq. "개가 사람을 문다" (it odamni tishlaydi) bilan "사람이 개를 문다" (odam itni tishlaydi) bir xil boʻlib qoladi
Kontrastiv oʻrganish	Juftlash kartochka oʻyini: mos juftlarni birlashtirish, mos kelmaganlarini ajratish	Qisman soʻzni eshitib, oʻsha harakatni birga koʻrgan bolaning soʻz ma’nosini oʻrganishi	Bola bir necha martada oʻrganadi, model esa bir xil juftni yuzlab marta koʻrishi kerak va jufti yoʻq soʻzni oxirigacha bilmay qoladi
Bitta xarita	Ikki tildagi soʻzlarni bitta lugʻatga birga kiritish	Yoʻq	Lugʻatda moslikni odam belgilaydi, bu xaritada esa moslik faqat juftlar ma’lumotidan hosil boʻladi. Juftlari kam soʻz notoʻgʻri joyga tushadi
Topish va yaratish	Kutubxonadan kitob olish va oʻxshash kitoblarni oʻqib, yangi matn yozish	Yoʻq	Yangi matnda muallifning niyati bor, bu qismdagi yaratish esa yaqin beshta sahnaning oʻrtachasi atrofidan tanlab olishdan nariga oʻtmaydi
Ulash	"Avval ~ qil, keyin ~ qil" degan raqs xoreografiyasi koʻrsatmasi	Qisman gap tartibida tanani harakatlantirish	Xoreograf ulanish joylarini tabiiy qilib oʻzgartiradi, bu yerda esa 10 kadr shunchaki aralashtiriladi

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasm va raqamlar manbalari

E-1 Muallif haqida

Ahn Sangsun (M-Robo kompaniyasi rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaper’ning tashqi venchur kompaniyasi M-Robo’ga asos solib, uning rahbari sifatida faoliyat yuritmoqda. M-Robo — ommaviy axborot vositasi ichidagi venchur sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, shuningdek Koreya Internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radioeshittirish, telekommunikatsiya va radiochastotalarni rivojlantirish agentligi va boshqa tashkilotlar bilan koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining AI yangiliklar nashri Money-Robo’ni yuritmoqda. Rahbarlik davrida Osiyo ochiq ma’lumotlar xakatonida gʻolib chiqqan, ma’lumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sun’iy intellekt va blokcheyn sohalarida 5 ta patentning muallifi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi; Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti uchun fintex, statistika va sun’iy intellekt sohalarida elektron ta’lim kontentini ishlab chiqqan. Iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda ma’lumotlar va sun’iy intellektga oid fanlardan dars beradi. Batafsil profil

Kurslar

Ahn Sangsun (2025). «Biznes uchun ma’lumotlar fani» ma’ruza materiallari. Koreya ochiq kiberuniversiteti, Sun’iy intellekt integratsiyasi kafedrasi.
Ahn Sangsun (2025). [K-Digital] Sun’iy intellekt yordamida tabiiy tilni qayta ishlash. STEP (Aqlli kasbiy ta’lim platformasi), Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti.
Ahn Sangsun (2024). [K-Digital] Fintex ma’lumotlarini tahlil qilish asoslari. STEP (Aqlli kasbiy ta’lim platformasi), Koreya texnologiya va ta’lim universiteti onlayn uzluksiz ta’lim instituti.

STEP kurslariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli kirishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va chiqishlar

Ahn Sangsun (2025). Milliy keksalik ta’minoti panel ma’lumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sun’iy intellekt modellariga asoslangan yondashuv. «Mirae Sahoe» (Kelajak jamiyati), 16(2). Toʻliq matn
Ahn Sangsun (2025). Milliy keksalik ta’minoti panel ma’lumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sun’iy intellekt yondashuvi. Milliy keksalik ta’minoti paneli ilmiy konferensiyasi taqdimoti (2025.05.13), Milliy pensiya xizmati qoshidagi Milliy pensiya tadqiqot instituti. Taqdimot
Ahn Sangsun (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Mirae Sahoe» (Kelajak jamiyati), 16(1). Toʻliq matn
Ahn Sangsun (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan adversarial ma’lumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Mirae Sahoe» (Kelajak jamiyati), 15(3). Toʻliq matn
Ahn Sangsun (2024). Sun’iy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster taqdimoti (2024.06.19), Seul media magistratura universiteti.
Ahn Sangsun (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel ma’lumotlaridan foydalangan holda mashinaviy oʻrganish modeli. Ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli 10-ilmiy konferensiyasi poster taqdimoti (2024.05.17), Koreya mehnat farovonligi xizmati qoshidagi Mehnat farovonligi tadqiqot instituti.
Ahn Sangsun (2024). Virtual aktivlar vaqt qatorlari ma’lumotlarini tahlil qilish va bashorat qilish: vaqt qatori modellari va sun’iy intellekt modellarini solishtirish, takomillashtirish yoʻllarini taklif etish. «Mirae Sahoe» (Kelajak jamiyati), 15(1). Toʻliq matn

E-2 Ilmiy manbalar

[R1] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. ICML 2021. arXiv:2103.00020 — 3-boʻlim (kontrastiv oʻrganish, CLIP)
[R2] Tevet, G., Gordon, B., Hertz, A., Bermano, A. H., & Cohen-Or, D. (2022). MotionCLIP: Exposing human motion generation to CLIP space. ECCV 2022. arXiv:2203.08063 — 3·4-boʻlimlar
[R3] Guo, C., Zou, S., Zuo, X., Wang, S., Ji, W., Li, X., & Cheng, L. (2022). Generating diverse and natural 3D human motions from text. CVPR 2022. — 5-boʻlim (HumanML3D ma’lumotlar toʻplami)
[R4] Tevet, G., Raab, S., Gordon, B., Shafir, Y., Cohen-Or, D., & Bermano, A. H. (2023). Human motion diffusion model. ICLR 2023. arXiv:2209.14916 — 5-boʻlim
[R5] Zhang, J., Zhang, Y., Cun, X., Huang, S., Zhang, Y., Zhao, H., Lu, H., & Shen, X. (2023). T2M-GPT: Generating human motion from textual descriptions with discrete representations. CVPR 2023. arXiv:2301.06052 — 5-boʻlim

E-3 Rasmlar va raqamlarning manbasi

Sahna rasmlari (matn–harakat moslashuvi, promptdan harakatga, matnli prompt, raqs harakatlari kartochkasi) muallifning oʻzi chizgan piksel-art
Sahnalar va gaplarning barchasi sintetik ma’lumot. 28 ta gap va 40 ta soʻz boʻlagini muallif belgilagan
3·5-boʻlimlar ostidagi jadvallar 1·2-kodni haqiqatda ishga tushirish natijasi. Ekrandagi oʻqitish va yaratish brauzerda xuddi shu hisobni qayta bajargani uchun sonlar biroz farq qiladi

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyida oʻqitish (OJT) mas’ullari va tyutorlar uchun dars tashkil etish boʻyicha qoʻllanma. Vaqtlar taxminiy, shuning uchun ularni haqiqiy darsga moslashtiring.

Kimlar uchun	5-3-qismni tugatgan talabalar va xodimlar. "Prompt kiritsang, natija chiqadigan" generativ AI ichida nima borligini bilmoqchi boʻlgan rejalashtiruvchilar va amaliyotchilar
Oldindan kerakli bilimlar	5-3-qismdagi yashirin fazo, skalyar koʻpaytma va softmax (3-2·3-8)
Oʻquv maqsadlari	① Gapni songa aylantirishning eng oddiy usuli (soʻzlar xaltasi) va uning cheklovlarini tushuntira oladi ② Kontrastiv oʻrganish "juftlar yaqin, begonalar uzoq" tamoyili bilan ikki voronkani qanday moslashini aytib bera oladi ③ Umumiy xaritada topish, yaratish va ulash oʻrtasidagi farqni misol bilan koʻrsata oladi
Taxminiy vaqt	Oʻqish 30–40 daqiqa · animatsiya namoyishi 25 daqiqa · Colab amaliyoti 25 daqiqa (1-kod 12 daqiqa, 2-kod 13 daqiqa)

Uch xil dars rejasi

Ma’ruza shaklida, 50 daqiqa

Tushunchalarga e’tibor

Kirish 5 daqiqa (1-boʻlim) → 2-boʻlim, soʻzlar xaltasi 8 daqiqa → 3-boʻlim, oʻqitishni ijro etish 15 daqiqa → 4-boʻlim, xarita 7 daqiqa → 5-boʻlim, gap kiritib koʻrish 10 daqiqa → 6-boʻlim, xato gaplar 5 daqiqa.

Ish joyida oʻqitish (OJT), 90 daqiqa

Prompt dizayniga yoʻnaltirilgan

2·3-boʻlimlar 20 daqiqa → 6-boʻlim jadvali asosida "model biladigan va bilmaydigan soʻzlar" muhokamasi 15 daqiqa → 5-boʻlimda jamoalarga boʻlinib, yaxshi ishlaydigan va ishlamaydigan gaplarni topish 20 daqiqa → 1-kodga yangi gaplar qoʻshib, qayta oʻqitish 25 daqiqa → yakun 10 daqiqa.

Yakkama-yakka tyutorlik

Darajaga qarab sur’at

Boshlovchilar uchun faqat 2·3·5-boʻlimlar. Oʻrta darajadagilarga 1-koddagi G = (P − I + Q − I) / 14 qatori nega "diagonalni oshirib, qolganlarini pasaytirishini" 2 × 2 jadvalda qoʻlda hisoblatib koʻring.

Boʻlimlar boʻyicha asosiy nuqtalar

Boʻlim	Toʻxtab beriladigan savol	Boshqaruv boʻyicha maslahat
2 Soʻz — bu son	"Nega '캔을 던진다' (bankani otadi) va '던진다 캔을' (otadi bankani) bir xil son boʻladi?"	Ikki misolni navbatma-navbat bosish
3 Juftlash	"Chiziqlar juftini topishiga necha qadam ketdi? Sinov gaplarida-chi?"	Oʻqitishni ijro etgandan soʻng "Sinov gaplari"ga oʻtkazish
4 Bitta xarita	"Oʻqitishdan oldin rombchalar qayerda edi?"	Qadam slayderini 400 → 0 ga surib koʻrish
5 Soʻz → harakat	"Topish va yaratish natijalari qanday farq qiladi?"	"춤춰" (raqsga tush) ni yaratish rejimida bir necha marta bosish
6 Cheklovlar	"'던져 버린다' (otib yuboradi) toʻgʻri topilishi uchun nimani oʻzgartirish kerak?"	5-boʻlimda oʻsha gapni kiritib, oʻzingiz tekshirib koʻring

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushuncha	Toʻgʻri izoh	Koʻrsatiladigan sahna
AI gapning ma’nosini tushunib, harakat tanlaydi	U faqat gapni songa aylantirib, xaritadan yaqin joyni qidiradi, xolos. Bu qismdagi sonlar faqat soʻz boʻlagi bor-yoʻqligini bildiradi	2-boʻlim, 6-boʻlim
Kontrastiv oʻrganish uchun toʻgʻri javob yorligʻi kerak	"Bu gap va bu harakat — juft" degan juftliklarning oʻzi yetarli. Tur nomlari ishlatilmaydi	3-boʻlim izohi
Oʻqitish yoʻqotishi 0 ga yaqin boʻlsa, notanish gaplarni ham yaxshi topadi	Yoʻqotish oʻqitish gaplari boʻyicha hisoblanadi. Sinov gaplarining 7 tasidan faqat 5 tasi toʻgʻri topildi	3-boʻlim jadvali
Gapni uzun va batafsil yozsangiz, har doim yaxshiroq ishlaydi	Lugʻatdan tashqaridagi soʻzlar yoki boshqa harakatning soʻzlari aralashsa, aksincha notoʻgʻri joyga tortib ketiladi	6-boʻlim, "손을 펴서 떨어뜨리고 걸어간다" (qoʻlini ochib tushirib yuboradi va ketadi)
"Yaratish" oʻqitish ma’lumotlarida boʻlmagan butunlay yangi harakatni yaratadi	Xaritada yaqin sahnalar toʻplangan joy atrofidan tanlaydi. Oʻrganilgan harakat turlari doirasidan deyarli chiqa olmaydi	5-boʻlim, "날아올라" (uchib ket)

Nazorat savollari (izohni koʻrish uchun bosing)

Q1. Lugʻat [캔, 던지, 흔들, 손] (banka, ot-, silkit-, qoʻl) toʻrt katakdan iborat boʻlsa, "손을 흔들며 캔을 던진다" (qoʻl silkitib, bankani otadi) gapining soʻzlar xaltasi qanday boʻladi?

[1, 1, 1, 1]. Toʻrtala boʻlak ham bor. Bu gap otish bilan qoʻl silkitish oraligʻidagi biror joyga tushadi.

Q2. Juftlik ballari jadvali [[3, 1], [0, 2]] boʻlsa, birinchi qatorning softmax ehtimollari qanday? Oʻqitish bu qatorni qanday oʻzgartirishga harakat qiladi?

e³ / (e³ + e¹) ≈ 0.881, e¹ / (e³ + e¹) ≈ 0.119. Diagonalni (0.881) 1 tomon oshirish, juft boʻlmagan katakni (0.119) esa 0 tomon tushirish uchun ikkala voronka tuzatiladi.

Q3. Sinov harakati → gapni topish 100% boʻlgani holda, sinov gapi → harakat nega 7 tadan 5 ta?

Harakat tomonida sahnalar 420 ta boʻlgani uchun har bir turning shakli yaxshi shakllangan, gap tomonida esa har bir tur uchun atigi 3 tadan oʻqitish gapi bor va soʻzlar xaltasi kontekstni bilmaydi. Notanish soʻz birikmasi kelsa, soʻz voronkasi chalkashadi.

Q4. "걷다가 손 흔들기" (yurayotib qoʻl silkitish) da birinchi yarmi nega notoʻgʻri chiqdi?

"걷" lugʻatda bor, lekin oʻqitish gaplarida bir marta ham uchramagan. Bu katakning vazni boshidagi kichik tasodifiy qiymatligicha qolgani uchun xaritada ma’noli joyni koʻrsatmaydi. "걸어가다가" (yurib ketayotib) deb oʻzgartirsangiz, oʻtib ketish chiqadi.

Q5. Topish va yaratishdan qaysi birida shaxsiy ma’lumotlar xavfi kattaroq? Nega?

Topishda. U oʻqitish sahnasini oʻzgartirmay olib chiqadi, shuning uchun bu haqiqiy odamning harakat ma’lumotlari boʻlsa, oʻsha odamning harakati aynan chiqib qoladi (5-2-qismdagi C generatori bilan bir xil). Yaratish esa bir nechta sahna toʻplangan joydan yangidan tanlab oladi.

Colab topshiriqlari

Asosiy

1-koddagi CAPTIONS da otishning oʻqitish gaplaridan birini "길에 캔을 던져 버린다" (koʻchaga bankani otib yuboradi) ga oʻxshash gapga almashtirib, qayta oʻqiting. Sinov gaplarining toʻgʻri topilishi qanday oʻzgarishini hisobot qiling.

Murakkab

Soʻzlar xaltasi oʻrniga "ikki harfdan ustma-ust qirqilgan boʻlaklar"dan (masalan, "던져" → "던", "져", "던져") foydalanadigan bag funksiyasini yozing va u notanish soʻzni ("걷다가" — yurayotib) yaxshiroq qayta ishlay olishini sinov gaplarining toʻgʻri topilishi boʻyicha solishtiring.

Qiyinlikni sozlash va qoʻshimcha oʻrganish

Boshlovchilar	3-boʻlimdagi oʻqitishni ijro etishning oʻzi bilan ham "juftlarni moslab oʻrganadi" degan gʻoyani tushunib olish mumkin
Chuqurlashtirilgan	CLIP va MotionCLIP maqolalaridagi 1-rasmni bu qismdagi 3-boʻlim bilan yonma-yon qoʻyib, oʻxshash va farqli jihatlarini taqdimot qilib berishni topshiring
Keyingi qism	5-5 "Raqsga tush"dan raqs videosigacha — chiziqcha odamning raqsiga Yordamchining qiyofasini kiydiramiz