Chuqur oʻrganish: A dan Z gacha · 3-8

Attention va Transformer — eslab qolish oʻrniga qayta izlash

3-7 dagi ketma-ketlik modellari oʻtgan hamma narsani bitta yashirin holatga siqib joylab, bittadan katak boʻylab yurardi. Attention gʻoyani oʻzgartiradi: kerak boʻlganda oldingi barcha kataklarni qaytadan koʻrib chiqadi va tegishli kataklarga koʻproq diqqat beradi. Soʻrov (Q)·kalit (K)·qiymat (V) sonlarini qoʻlda kuzatib boramiz, bu qismlardan qurilgan Transformer nega bugungi til modellarining asosiga aylanganini va uning narxini ham koʻramiz.

Muallif: Sangsun Ahn (M-Robo MChJ rahbari) · Muallif haqida

2015Tarjimaga attention qoʻshgan maqola [R1]
2017Transformer eʼlon qilindi [R2]
√dkBallarni boʻladigan son: softmax bir tomonga ogʻib ketmasligi uchun
8 × 64Asl maqoladagi head soni × head kengligi (= 512) [R2]
n²Uzunlik n boʻlganda diqqat ballari soni
2 taColabda darhol ishga tushiriladigan kod
1Qolgan muammolar

Ketma-ketlik modellarida qolgan ikki muammo — tor boʻgʻiz va navbatda turish

Enkoder–dekoder RNN butun gapni bitta qatʼiy uzunlikdagi vektorga joylaydi va kataklarni birma-bir navbat bilan qayta ishlaydi. Gap uzaygan sari ikki narsa muammoga aylanadi.

Gap uzunligi

Yangi boshlovchilar uchun izoh

Tor boʻgʻiz: enkoder–dekoder tarjima modeli asl matnni bitta qatʼiy uzunlikdagi vektorga qisqartiradi, soʻng undan tarjimani hosil qiladi. Bahdanau va hammualliflar bu qatʼiy uzunlikdagi vektorni samaradorlikning tor boʻgʻizi deb hisoblab, tarjimaning har bir soʻzini yaratishda asl matndan tegishli qismni modelning oʻzi izlab topishiga imkon beradigan usulni taklif qilishdi [R1]. Bu — attention. Navbatda turish: RNN ht ni bilmasdan ht+1 ni hisoblay olmaydi, shuning uchun kataklarni bir vaqtda hisoblab boʻlmaydi. Transformer takrorlanishni (rekurrentlikni) butunlay olib tashlab, faqat attention yordamida barcha kataklarni birdaniga hisoblaydi va oʻqitishni ancha tezlashtirdi [R2].

2Attention

Attention gʻoyasi — har bir soʻzni yaratishda asl matnga qayta qaraladi

Koreyscha «Chopariga sagwareul meogeotda» («Drozofila olmani yedi») gapini «The fly ate the apple» deb tarjima qilamiz. Har bir inglizcha soʻzni yaratishda diqqat koreyscha soʻzlar orasida taqsimlanadi. Chiziq qanchalik qalin boʻlsa, diqqat shunchalik katta.

Yaratilayotgan soʻz

Yangi boshlovchilar uchun izoh

Koreyscha tartib «chopariga (drozofila) · sagwareul (olmani) · meogeotda (yedi)», inglizcha tartib esa «The fly · ate · the apple». Feʼlning oʻrni har xil. Shuning uchun «ate» ni yaratishda eng oxirdagi «meogeotda» ga koʻproq qarash kerak. Bu rasmdagi diqqat qiymatlari tushuntirish uchun belgilangan sonlar. Haqiqiy tarjima modeli bunday moslikni oʻqitish orqali oʻzi topadi; Bahdanau va hammualliflar oʻrgatilgan diqqat inson intuitsiyasiga yaxshi mos kelishini xabar qilishgan [R1]. Diqqat qiymatlarining hammasi 0~1 oraligʻida va yigʻindisi 1 ga teng (softmax).

3Q·K·V

Q·K·V sonli misoli — kutubxonada kitob qidirish

Attention(Q, K, V) = softmax(Q·Kᵀ / √dk) · VVaswani va boshq., 2017

Savol (Q)
SimvolKutubxonadaNeyron tarmoqda
Q soʻrovNima qidirayotganimni yozgan qogʻozchaJoriy katakka «nima kerak»ligini ifodalovchi vektor. Kirish × WQ
K kalitHar bir kitobga biriktirilgan katalog kartochkasiHar bir katak «men shunday maʼlumotman» ekanini ifodalovchi vektor. Kirish × WK
V qiymatKitobning haqiqiy mazmuniHar bir katak haqiqatda uzatadigan maʼlumot. Kirish × WV
Q·KQogʻozcha bilan kartochka qanchalik mos keladiIkki vektorning skalyar koʻpaytmasi. Yoʻnalishlari qanchalik oʻxshash boʻlsa, shunchalik katta
÷ √dk—Vektor uzaygan sari skalyar koʻpaytma kattalashib, softmax faqat bitta katakka ogʻib ketishining oldini oladi [R2]
softmaxOʻqish vaqtini kitoblarga taqsimlashBallarni yigʻindisi 1 ga teng diqqatga aylantiradi
× VOʻqilgan vaqtga qarab mazmunni aralashtirib jamlashDiqqatni vazn sifatida olib, qiymatlarni qoʻshadi. Bu — chiqish
4Self-attention

Self-attention — gap oʻzini oʻzi koʻrib chiqadi

3-boʻlimda savol va kitoblar alohida edi. Self-attentionda gapdagi har bir soʻz bir vaqtning oʻzida soʻrov, kalit va qiymatdir. Har bir soʻz oʻz diqqatini boshqa barcha soʻzlarga taqsimlaydi.

Soʻrov soʻzi

Bu misoldagi sonlar qayerdan olingan

Soʻz vektorlari [hayvon, ovqat, harakat, koʻrsatish soʻzi] degan toʻrt katakdan iborat qilib qoʻlda belgilandi. Soʻrov oʻzgartirishi WQ «koʻrsatish soʻzi ovqatni, harakat hayvonni qidiradi» boʻladigan qilib belgilandi. Kalit·qiymat oʻzgartirishlari oʻzgarishsiz qoldirildi. Haqiqiy Transformerda soʻz vektorlari ham, WQ·WK·WV ham oʻqitish orqali aniqlanadi, kengligi ham yuzlab katak boʻladi. Hisoblash formulasi esa bu misol bilan aynan bir xil. Kod 1 xuddi shu sonlarni chiqaradi.

5Multi-head

Multi-head — bir nechta munosabatni bir vaqtda koʻrish

Bitta gapda munosabatlar bir necha qatlamli boʻladi. «Kim yedi» va «nimani yedi» — turli savollar. Har bir head turli WQ·WK·WV ishlatib, turli munosabatni koʻradi, natijalar esa bir-biriga ulanadi.

Soʻrov soʻzi
Model kengligi (parametrlarni hisoblash)
6Pozitsiya maʼlumoti

Pozitsiya maʼlumoti — attention tartibni bilmaydi

Attention barcha kataklarni birdaniga solishtiradi. Shuning uchun soʻzlar tartibini aralashtirsak ham, har bir soʻzning natijasi aynan bir xil boʻladi. Tartibni bildirish uchun har bir oʻringa xos «pozitsion kod» soʻz vektoriga qoʻshiladi.

Pozitsion kod
Gap tartibi

Sinus·kosinus pozitsion kod

Asl maqolada pos pozitsiyaning juft kataklariga sin(pos / 100002i/d), toq kataklariga cos(…) qoʻyilgan [R2]. Oldingi kataklar tez, keyingi kataklar sekin tebranadi, shuning uchun har bir oʻrinda oʻziga xos naqsh hosil boʻladi. Soatning sekund, minut va soat millariga birga qaralganda vaqt bir maʼnoli aniqlanishiga oʻxshaydi. Pozitsion kodni oʻqitish orqali aniqlash usuli ham keng qoʻllaniladi. Kod 2 dagi kichik Transformer oʻqitiladigan pozitsion embeddingdan foydalangan.

7Blok

Blokni yigʻish — attention + feedforward va qisqa yoʻl

Transformerning bitta bloki multi-head attention va feedforward neyron tarmoqdan (3-2 dagi MLP) iborat. Ularning har biriga kirishni oʻzgarishsiz qoʻshadigan qisqa yoʻl (qoldiq ulanish) va normallashtirish biriktiriladi, bu blok esa bir necha qatlam qilib ustma-ust qoʻyiladi.

Blok oʻlchami
8Enkoder·dekoder

Enkoder·dekoder va GPT turi — nimani koʻrishga ruxsat beriladi

Bir xil blok ham «qaysi katak qaysi katakni koʻra oladi» (niqob) oʻzgartirilsa, boshqa vazifaga xizmat qiladi.

Tuzilma
9Asos va cheklovlar

Bugungi kunning asosiga aylanish sabablari va cheklovlar

Transformer keng qoʻllanilishining sabablarini uchtaga jamlash mumkin. Shunga yarasha xarajati ham bor. Eng katta xarajat — uzunlikning kvadratiga mutanosib oʻsadigan diqqat hisobi.

Uzunlik n
Asosga aylanish sabablari
  • Birdaniga hisoblash: takrorlanish yoʻqligi sababli barcha kataklar bir vaqtda hisoblanadi, shuning uchun bir xil vaqt ichida ancha koʻp maʼlumot bilan oʻqitish mumkin [R2].
  • Uzoq kataklarni toʻgʻridan-toʻgʻri bogʻlash: birinchi va oxirgi katak bitta attention bilan bogʻlanadi. RNN dagidek kataklar soni boʻyicha oʻtib borib xiralashmaydi. Kod 2 da 3-7 dagi masala orqali buni bevosita tekshiramiz (9-boʻlim pastida).
  • Bir xil blokni kattalashtirish: bloklarni koʻp qatlam qilib ustma-ust qoʻyish va kenglikni oshirish orqali masshtabni kattalashtirish oson. Faqat enkoderdan foydalangan BERT [R4] va faqat dekoderdan foydalangan GPT-3 (175 milliard parametr) [R5] shu bloklarni ustma-ust qoʻygan.
Cheklovlar va xarajat
  • Uzunlik kvadrati: uzunlik n boʻlsa, diqqat ballari n² ta boʻladi. Gap 2 marta uzaysa, diqqat hisobi va xotira taxminan 4 marta ortadi. Shuning uchun bir martada ishlov berish mumkin boʻlgan uzunlikda chegara bor, uni kamaytirish boʻyicha tadqiqotlar davom etmoqda.
  • Maʼlumot va hisoblash: tartib yoki qoʻshnilik munosabati haqidagi farazlar (CNN ning lokalligi, RNN ning ketma-ketligi) kuchsiz boʻlgani sababli, ularni maʼlumotdan oʻrganishga toʻgʻri keladi. Kichik maʼlumotlarda RNN·CNN yaxshiroq boʻlishi mumkin.
  • Oʻqitish doirasidan tashqaridagi uzunlik: oʻqitishdagidan ancha uzun kirishlarda pozitsion kod notanish boʻlib, samaradorlik pasayishi mumkin.
  • Diqqat = tushuntirish emas: diqqat rasmi faqat «qayerga qarab hisoblagan»ini koʻrsatadi, xulosa nega toʻgʻri ekanini kafolatlamaydi.

Kod 2 tajribasi — 3-7 da LSTM uddalay olmagan masalani Transformer bilan yechish

3-7 kod 2 dagi bilan bir xil masala (barcha kataklar ±1, toʻgʻri javob — birinchi katak) va bir xil oʻqitish sozlamalari (Adam 0.005, 30 epoxa, oʻqitish uchun 2,000 ta · test uchun 1,000 ta, 2 ta seed). Transformerda bitta self-attention bloki (kenglik 16, 2 ta head) va oʻqitiladigan pozitsion embedding ishlatildi. «Birinchi katakka beriladigan diqqat» — barcha kataklarning birinchi katakka bergan diqqatining oʻrtachasi.

Ushbu turkumning qamrovi

Bu qism Transformerning tuzilishigacha boʻlgan mavzularni oʻz ichiga oladi. Shu tuzilma yordamida matn va rasm yaratadigan generativ modellar (katta til modellarini oldindan oʻqitish, koʻrsatmalarga amal qilishni oʻqitish, diffuziya modellari va h.k.) bu turkum doirasidan tashqarida. Keyingi qismlar (3-4 Nutq, 3-6 Vaqt qatorlari va aksiya narxlari, 3-5 Matn) maʼlumotni songa aylantirish jarayoniga eʼtibor qaratadi.

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colabda oldindan oʻrnatilgan kutubxonalardan foydalanadi. “Notebook (.ipynb) yuklab olish” tugmasini bosib, Colabda Fayl → Notebookni yuklash orqali oching yoki nusxalab, yangi notebook katagiga joylashtiring.

Kod 1 · Attentionni numpy bilan qoʻlda hisoblash3–6-boʻlimlar bilan bogʻliq · numpy, matplotlib · CPU da 1 soniyadan kam

Kutubxona misoli, besh soʻzli self-attention, ikki head, tartibni aralashtirish va pozitsion kodni bir xil sonlar bilan hisoblaydi. Oʻz maʼlumotingizga almashtirish uchun BOOK_K·BOOK_V·QUERIES yoki soʻz vektorlari X ni oʻzgartiring.

Bajarilish natijasi (2026-10-03 da bajarilgan, numpy 2.4 · matplotlib 3.10 · CPU). Hisobda tasodifiy sonlar yoʻqligi sababli, qachon ishga tushirilsa ham natija bir xil.
Kod 2 · Keras bilan kichik Transformer va LSTM — 3-7 dagi «birinchi signalni eslab qolish»9-boʻlim bilan bogʻliq · tensorflow(Keras), numpy, matplotlib · CPU da taxminan 8 daqiqa

3-7 da LSTM katta uzunliklarda uddalay olmagan masalani bitta self-attention blokli Transformer bilan qayta yechamiz. Oʻqitilgan Transformer toʻgʻri javob joylashgan birinchi katakka qancha diqqat berishini ham oʻlchaymiz. 9-boʻlim pastidagi jadval bevosita shu chiqishdan tuziladi.

Bajarish natijasi (2026-10-03 da bajarilgan, TensorFlow 2.21 · Keras 3.15 · CPU). Sonlar seed, versiya va apparatga qarab oʻzgarishi mumkin.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash” tugmasi bosilganda prompt ortidan tanlangan kod ham qoʻshiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozsangiz boʻladi.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki maqola uchun AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish faktini va koʻlamini maʼlum qiling.

Atamalar lugʻati

Bu matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Oʻxshatish tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Drozofila va miya oʻxshatishlariga kuch darajasi belgilangan. Bevosita haqiqatan ham bir xil ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas

TushunchaKundalik hayotdan oʻxshatishDrozofila va miya oʻxshatishiOʻxshatish xato boʻladigan joy
AttentionImtihonga tayyorlanayotganda muhim sahifalarni marker bilan belgilashQisman Insonning tanlab diqqat qilishi (shovqinli joyda bitta ovozga eʼtibor qaratish)Miyadagi diqqat — sezgi, niyat, charchoq kabilar chirmashgan hodisa. Modeldagi attention esa skalyar koʻpaytma va softmax bilan aniqlangan vaznli oʻrtacha xolos
Q·K·VKutubxonadagi savol qogʻozchasi·katalog kartochkasi·kitob mazmuniYoʻqKutubxonada bitta kitob tanlab olinadi, attention esa barcha kitoblarni ulushiga qarab aralashtiradi
Softmax diqqatiOʻqish vaqtini kitoblarga taqsimlashYoʻqVaqtni qanday taqsimlasangiz ham hammasi sarflanadi, lekin diqqati 0.01 boʻlgan katak ham toʻliq hisoblanadi (shuning uchun n² talab qilinadi)
Multi-headBitta hujjatni bir necha muharrir turli nuqtai nazardan oʻqishiYoʻqHeadning «nuqtai nazari»ni inson belgilamaydi. Oʻqitishdan keyin tahlil qilinsa, aniq vazifasi koʻrinmaydigan headlar ham koʻp
Pozitsion kodSoatning sekund, minut va soat millariga birga qaralsa, vaqt aniqlanadiYoʻqSoat bir kundan keyin boshiga qaytadi, pozitsion kod esa faqat oʻqitilgan uzunlik ichida tanish
Qoldiq ulanishTahrirlangan qoʻlyozma yoniga doim asl nusxani ham qoʻshib qoʻyishYoʻqAsl nusxani «oʻzgarishsiz qoʻshish» — asosiy nuqta. Tuzatish kichik boʻlsa, asl nusxa deyarli oʻzgarmay keyingi qatlamga oʻtadi
Niqob (GPT turi)Javoblar varaqasini yopib, faqat oldingi masalalarga qarab keyingi masalani yechishYoʻqOʻqitishda barcha kataklar birdaniga hisoblanadi. Yopiladigan narsa faqat «koʻrish mumkin boʻlgan doira»

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasmlar uchun manbalar

E-1 Muallif haqida

Sangsun Ahn (M-Robo MChJ rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaperning tashqi venchur kompaniyasi M-Robo MChJni tashkil etib, uning rahbari lavozimida ishlamoqda. M-Robo MChJ ommaviy axborot vositasi ichidagi venchur loyiha sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, Koreya internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radiochastota agentligi va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining A.I yangiliklar gazetasi Money-Roboni yuritmoqda. Rahbarlik davrida Osiyo ochiq maʼlumotlar xakatonida gʻolib boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patentning ixtirochisi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi, Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim institutida fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Eng yuqori ilmiy darajasi — iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil

Maʼruzalar

  • Sangsun Ahn (2025). «Biznes uchun maʼlumotlar fani» maʼruzalar matni. Koreya ochiq kiberuniversiteti, sunʼiy intellekt integratsiyasi kafedrasi.
  • Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.
  • Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.

STEP maʼruzalariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli ochilishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va maʼruzalar

  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. «Kelajak jamiyati», 16(2). Asl matn
  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Milliy keksalik taʼminoti paneli ilmiy konferensiyasi maʼruza materiallari (2025.05.13), Milliy pensiya xizmati, Milliy pensiya tadqiqot instituti. Maʼruza materiallari
  • Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Kelajak jamiyati», 16(1). Asl matn
  • Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan raqib maʼlumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Kelajak jamiyati», 15(3). Asl matn
  • Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster maʼruzasi (2024.06.19), Seul media oliy maktabi universiteti.
  • Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻrganish modeli. 10-ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli ilmiy konferensiyasi poster maʼruzasi (2024.05.17), Koreya mehnat farovonligi korporatsiyasi, Mehnat farovonligi tadqiqot instituti.
  • Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. «Kelajak jamiyati», 15(1). Asl matn

E-2 Ilmiy manbalar

  1. [R1] Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. ICLR 2015. arXiv:1409.0473 — kirish qismi, 1·2-boʻlimlar
  2. [R2] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems 30. arXiv:1706.03762 — kirish qismi, 1·3·5·6·7·8·9-boʻlimlar (d_model 512, 8 head × 64, d_ff 2048, √d_k ga boʻlish, sinus·kosinus pozitsion kod)
  3. [R3] Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. EMNLP 2014, 1724–1734. doi:10.3115/v1/D14-1179 — 1-boʻlim (enkoder–dekoder RNN)
  4. [R4] Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL 2019, 4171–4186. doi:10.18653/v1/N19-1423 — 8·9-boʻlimlar
  5. [R5] Brown, T. B., Mann, B., Ryder, N., … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems 33. arXiv:2005.14165 — 8·9-boʻlimlar (GPT-3, 175 milliard parametr)
  6. [R6] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. doi:10.1162/neco.1997.9.8.1735 — 9-boʻlimdagi taqqoslash tajribasi

E-3 Rasmlar uchun manbalar

  • 2-boʻlimdagi tarjima diqqat qiymatlari tushuntirish uchun belgilangan sonlar (oʻqitilgan qiymatlar emas)
  • 7-boʻlimdagi blok tuzilishi [R2] dagi 1-rasmga (enkoder tomoni) asoslanadi

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyidagi OJT masʼullari va tyutorlar uchun mashgʻulot yoʻriqnomasi. Vaqtlar taxminiy, shuning uchun haqiqiy darsga moslab oʻzgartiring.

Auditoriya3-7 ni tugatgan talabalar va xodimlar. Til modellari «qanday qismlardan yasalgani»ni bilmoqchi boʻlgan amaliyotchilar
Talab qilinadigan bilimlarVektorlarning skalyar koʻpaytmasi (bir xil oʻrindagilarni koʻpaytirib qoʻshish), 3-2 dagi softmax va MLP, 3-7 dagi enkoder–dekoder
Oʻquv maqsadlari① Attention formulasi softmax(QKᵀ/√d_k)V ni sonlar bilan hisoblaydi ② Self-attention, multi-head va pozitsion kod har biri nima uchun kerakligini tushuntiradi ③ Transformer asosga aylanish sabablarini va n² xarajatini birga tushuntiradi
Taxminiy vaqtOʻqish 45~55 daqiqa · animatsiya namoyishi 25 daqiqa · Colab amaliyoti 30 daqiqa (Kod 1 — 10 daqiqa, Kod 2 — bajarish 8 daqiqa + tahlil 12 daqiqa)

Uch xil mashgʻulot rejasi

Maʼruza shakli, 50 daqiqa

Tushunchalarga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlim, tor boʻgʻiz) → 2·3-boʻlimlar, kutubxona 15 daqiqa → 4·5-boʻlimlar 10 daqiqa → 6-boʻlim, tartibni aralashtirish 10 daqiqa → 9-boʻlim, n² va Kod 2 natijasi 5 daqiqa → tekshiruv savollari 5 daqiqa.

Ish joyidagi OJT, 90 daqiqa

Ishga tatbiq etishga yoʻnaltirilgan

1·3-boʻlimlar 15 daqiqa → 8-boʻlimdagi uch tuzilmani ish holatlariga (tasniflash·qisqacha bayon·tarjima) bogʻlash 20 daqiqa → 9-boʻlim, xarajatni hisoblash (oʻz hujjatlarimiz uzunligi bilan) 15 daqiqa → Kod 2 ni bajarish·tahlil qilish 25 daqiqa → prompt kartochkalari 15 daqiqa.

1:1 tyutorlik

Darajaga qarab suʼrat

Boshlovchilar uchun faqat 1·2·3·9-boʻlimlar. Oʻrta darajadagilarga 3-boʻlimdagi natija vektorini qoʻlda hisoblatib, Kod 1 bilan solishtiring va 7-boʻlimdagi 4d² + 4d ni oʻzlari keltirib chiqarsin.

Boʻlimlar boʻyicha asosiy jihatlar

BoʻlimToʻxtab beriladigan savolBoshqaruv boʻyicha maslahat
1 Qolgan muammolar«40 soʻzli gapni 8 katakli vektorga joylasak, bitta soʻzga necha katak toʻgʻri keladi?»5 → 40 soʻzga oʻzgartirib, sonlar qanday oʻzgarishini koʻring
2 Attention«ate ni yaratishda nega eng oxirgi soʻzga qaraladi?»«ate» tugmasida toʻxtating
3 Q·K·V«Eng katta diqqat berilgan kitobni olib kelishning oʻzi yetmaydimi?»«Ikkalasi ham qiziq» tanlanganda natija [5.5, 5.5] boʻlib aralashishini koʻring
4 Self-attention«“U” nimaga ishora qiladi? Model buni qanday bildi?»u → shirin tartibida bosib, qoʻlda belgilangan qoidaning cheklovini ham koʻring
5 Multi-head«Headlarni 8 taga koʻpaytirsak, parametrlar 8 marta oshadimi?»Model kengligi 512 da parametrlar sonini tekshiring
6 Pozitsiya maʼlumoti«Tartibni aralashtirsak ham natija bir xil boʻlsa, buning nimasi muammo?»Pozitsion kod yoʻq → aralashtirilgan tartib → qoʻshish tartibida bosing
7 Blok«Blok parametrlarining koʻp qismi attentiondami yoki feedforwarddami?»Asosiy variantda «feedforward ulushi»ni oʻqing
8 Enkoder·dekoder«GPT turi nega kelajakdagi kataklarni yopishi kerak?»«Faqat dekoder» ni bosib, niqobdagi × kataklarni koʻrsating
9 Asos va cheklovlar«Hujjat uzunligi 2 marta oshsa, diqqat hisobi necha marta oshadi?»4,096 → 32,768 ga oʻzgartirib xotirani solishtiring va pastdagi tajriba jadvaliga oʻting

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushunchaToʻgʻri tushuntirishKoʻrsatiladigan sahna
Attention eng muhim bitta soʻzni tanlaydiBarcha soʻzlarni ulushiga qarab aralashtiradi. Diqqati kichik soʻzlar ham natijaga kiradi3-boʻlimdagi «Ikkalasi ham qiziq»
Transformer tartibni oʻz-oʻzidan biladiPozitsion kod boʻlmasa, tartibni aralashtirsa ham natija bir xil6-boʻlim
Har bir headga vazifani inson belgilab beradiVazifalar oʻqitish orqali paydo boʻladi. Bu sahifadagi ikki head tushuntirish uchun qoʻlda belgilangan5-boʻlim va undan keyingi izoh
Transformer RNN dan har jihatdan ustunUzoq bogʻlanishlar va parallel hisoblashda kuchli, ammo uzunlik kvadratiga teng xarajat talab qiladi va kichik maʼlumotlarda noqulay boʻlishi mumkin9-boʻlim
Diqqat rasmi — modelning xulosa chiqarish sababiFaqat qayerga qarab hisoblaganini koʻrsatadi, xulosa nega toʻgʻri ekanini kafolatlamaydi4-boʻlimdagi «shirin»

Tekshiruv savollari (izohni ochish uchun bosing)

Q1. q = [2, 0.4], k = [2, 0], d_k = 2 boʻlganda ball q·k / √d_k nechaga teng?

q·k = 2×2 + 0.4×0 = 4. 4 / √2 ≈ 2.828. Bu 3-boʻlimdagi A kitob bali bilan bir xil.

Q2. Ballar [1.98, 1.98, 2.772] boʻlganda softmax diqqati va V = [10,0], [0,10], [6,6] qiymatlarini aralashtirgan natija qanday boʻladi?

Diqqat ≈ [0.238, 0.238, 0.525]. Natija = 0.238×[10,0] + 0.238×[0,10] + 0.525×[6,6] ≈ [5.53, 5.53]. Kod 1 chiqishi [5.525, 5.525].

Q3. Pozitsion kodsiz faqat self-attention ishlatilsa, soʻzlar tartibi aralashtirilganda har bir soʻzning chiqishi qanday boʻladi? Nega?

Aynan bir xil boʻladi. Har bir soʻzning chiqishi faqat «boshqa barcha soʻzlar bilan solishtirish» orqali aniqlanadi, solishtiriladigan toʻplam esa tartibdan qatʼi nazar bir xil. Kod 1 da farq 1e-16 (hisoblash xatosi darajasida) boʻldi.

Q4. Model kengligi d = 512 boʻlgan multi-head attention qatlamining parametrlari soni qancha? Headlar soni 8 tadan 16 taga oʻzgartirilsa-chi?

W_Q·W_K·W_V·W_O toʻrttasining har biri 512 × 512, siljishlar har biriga 512 tadan: 4 × 262,144 + 4 × 512 = 1,050,624 ta. Headlar sonini oʻzgartirsangiz, faqat head kengligi kichrayadi, matritsalar oʻlchami esa bir xil qoladi, shuning uchun son oʻzgarmaydi.

Q5. Hujjat uzunligi 4,096 dan 8,192 ga oshsa, diqqat ballari soni necha marta oshadi?

4 marta. (2n)² = 4n². 4,096² = 16,777,216 tadan 8,192² = 67,108,864 taga yetadi.

Colab topshiriqlari

Asosiy

Kod 1 da √d_k ga boʻlinmasa, kutubxona misolidagi diqqat qanday oʻzgarishini hisoblang. Vektorlar 10 marta kattalashtirilganda boʻlishning taʼsiri qanday ortishini ikki gapda tushuntiring.

Murakkab

Kod 2 da Transformerning pozitsion embeddingini (AddPosition) olib tashlab, qayta oʻqiting. Natija va «birinchi katakka beriladigan diqqat» qanday oʻzgarishini kamida 3 ta seed bilan xabar qiling va sababini 6-boʻlim bilan bogʻlab yozing.

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Yangi boshlovchilar5·7-boʻlimlarni tashlab ketsangiz ham mavzu oqimi uzilmaydi. Faqat 3-boʻlimdagi kutubxona misolini qoʻlda puxta hisoblab koʻring
Chuqurlashtirilgan9-boʻlimdagi n² xarajatini kamaytirish usullarini (oraliqlarga boʻlib qarash, past oʻlchamli yaqinlashtirish va h.k.) oʻrganib, taqdimot qilishni topshiring. Oʻrganilgan maqolalarni asl manbadan tekshiring
Qoʻshimcha oʻrganishSangsun Ahn, «Biznes uchun maʼlumotlar fani» maʼruzalar matni (maʼlumotlar fani boʻyicha umumiy) · STEP [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash (3-5 va 3-8 qismlarga bogʻliq) · STEP [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari (3-6 qismga bogʻliq)
Oʻqituvchilar uchun materiallarTekshiruv savollarini baholash mezonlari va topshiriqlarning namunaviy javoblarini Oʻqituvchilar uchun javoblar sahifasi (3-8) da koʻrish mumkin

Barakalla!

«3-8 Attention va Transformer» qismini oxirigacha oʻqidingiz. Laboratoriya jamoasi bittadan qisqa xulosa aytib beradi.

Professor
ProfessorEslab qolish oʻrniga qayta izlash usuli bilan turkumni yakunladik.
  • Attention kerak boʻlganda oldingi barcha kataklarni qaytadan koʻrib chiqadi
  • Q·K·V — savol, katalog kartochkasi, kitob mazmuni
  • Uzunlik 2 marta oshsa, diqqat hisobi 4 marta oshadi
Yordamchi
YordamchiTransformer birinchi katakni toʻgʻridan-toʻgʻri topdi!
Pashsha-tadqiqotchi
Pashsha-tadqiqotchiMarraga yetganing bilan tabriklayman! Bosh sahifadan yana tanlab koʻr.