Chuqur oʻrganish: A dan Z gacha · 3-7

Ketma-ketlik modellari — xotirani olib, qadamma-qadam yuradi

Gaplar, tovushlar, sensor yozuvlari va aksiya narxlarida maʼnoni tartib yaratadi. Har bir kadrni alohida koʻradigan neyron tarmoqqa “hozirgina koʻrilgan narsa”ni eslab qoladigan halqa qoʻshilsa, RNN hosil boʻladi; bu xotira xiralashmasligi uchun eshiklar (darvozalar, gate) qoʻshilsa, LSTM va GRU hosil boʻladi. Xotira haqiqatan saqlanib qolishini raqamlar bilan kuzatamiz, darvozalar boʻlsa ham oʻqitish oʻz-oʻzidan muvaffaqiyatli boʻlmasligini ham tajribada tekshiramiz.

Muallif: Sangsun Ahn (M-Robo MChJ rahbari) · Muallif haqida

1990Elman ning oddiy rekurrent neyron tarmogʻi [R1]
1997LSTM eʼlon qilindi [R3]
3 ta · 2 taLSTM va GRU dagi darvozalar soni
1,152 : 912Yashirin oʻlcham 16 boʻlganda LSTM va GRU rekurrent qatlam parametrlari (Keras)
+0.86 → −0.88Birinchi signal teskari qilinganda oʻzgaradigan LSTM xotirasi (5-boʻlim)
2 taColabda darhol ishga tushiriladigan kod
1Bittadan

Bittadan, bir yoʻnalishda — bitta kadrdan bilib boʻlmaydigan narsa

3-1 da drozofila soya “yaqinlashayotgan”ini aniqlagan edi. Ammo unga soya tushgan bitta suratgina berilsa-chi?

Neyron tarmoq oladigan narsa

Yangi boshlovchilar uchun izoh

3-2·3-3 dagi neyron tarmoqlar bitta kirishni olib, bitta chiqish beradi va shu bilan tugaydi. Oldin nimani koʻrganini eslab qolmaydi. Bunday neyron tarmoq feedforward (faqat oldinga oqadigan) neyron tarmoq deyiladi. Bir xil oʻlchamdagi bitta soya yaqinlashayotgan ham, uzoqlashayotgan ham boʻlishi mumkin. Javob bitta kadrda emas, kadrlar tartibida. 3-1 dagi tajribada ikki kadr (avvalgi·keyingi) birga berilgani ham shu sababdan.

2Feedforward

Feedforward tarmoqqa tartibni kiritishning ikki usuli va ularning cheklovi

“100 → 110 → 120” (oʻsish) va “120 → 110 → 100” (pasayish) ketma-ketliklari bir xil uchta sondan iborat. Bu ikkisini feedforward neyron tarmoqqa berishning ikki usuli bor.

Berish usuli
Ketma-ketlik uzunligi
3Halqa va yoyish

Halqa nima uchun paydo boʻladi va yoyish

ht = f(xt, ht−1)Bir xil vaznlar har bir vaqt qadamida qayta ishlatiladi

Koʻrinish
Uzunlik

Yangi boshlovchilar uchun izoh

2-boʻlimdagi muammoni yechish gʻoyasi oddiy. Bitta qadamni qayta ishlashda oldingi qadamda tuzilgan xulosa (yashirin holat) ham birga olinadi. Rasmda qutidan chiqqan strelka oʻziga qaytib, halqa hosil qiladi. Bu halqani vaqt oʻqi boʻylab yoysak, qadamlar soncha bir xil quti ulangan feedforward neyron tarmoqqa oʻxshab koʻrinadi. Barcha qutilar bir xil vaznlardan foydalanadi. 3-3 dagi CNN bir xil filtrni barcha “joylar”da ishlatganidek, RNN bir xil vaznlarni barcha “vaqt nuqtalari”da ishlatadi. Shuning uchun uzunlik har xil boʻlsa ham vaznlar soni oʻzgarmaydi.

4RNN

RNN — yashirin holat, BPTT va gradiyentning yoʻqolishi

ht = tanh(wx·xt + wh·ht−1)Elman, 1990

Halqa vazni wh
Kirish

BPTT va gradiyentning yoʻqolishi

Yoyilgan rasm ustida teskari tarqalish bajarilsa, bu BPTT (vaqt boʻylab orqaga teskari tarqalish) boʻladi [R8]. Oxirgi chiqishdagi xato birinchi qadamgacha yetib borishi uchun har bir qadam orqaga qaytganda wh × tanh gradiyenti (1 − h²) ga koʻpaytiriladi. Bu qiymat 1 dan kichik boʻlsa, qadamlar soni darajasiga koʻtarilib 0 ga yaqinlashadi (gradiyentning yoʻqolishi), 1 dan katta boʻlsa, portlab ketishi mumkin. Bengio va hammualliflar 1994-yilda shu sababli gradiyent tushish bilan uzoq vaqtli bogʻliqliklarni oʻrganish tubdan qiyin ekanini koʻrsatgan [R2].

wh katta qilinsa, xotira uzoq saqlanadi (1.5), lekin tanh ±1 atrofiga yopishib, gradiyent 1 − h² 0 ga yaqinlashadi. Xotirani ushlab turish bilan shu xotirani oʻqitish orqali tuzatish bir-biriga zid keladi. Bu 3-2 dagi “sigmoid gradiyenti eng koʻpi bilan 0.25” muammosi bilan bir ildizdan.

5LSTM

LSTM — yacheyka holati va uchta eshik

ct = ft ⊙ ct−1 + it ⊙ gt · ht = ot ⊙ tanh(ct)Hochreiter & Schmidhuber, 1997 · unutish darvozasi: Gers va boshq., 2000

Unutish darvozasi siljishi bf
Birinchi signal
SimvolNomiOraliqVazifasi (bu yacheykada belgilangan vaznlar)
ctYacheyka holatiCheklanmaganUzoq xotirani tashiydigan konveyer lentasi. Faqat bitta koʻpaytirish (f) va bitta qoʻshishdan oʻtib, keyingi qadamga boradi
ftUnutish darvozasi0~1 (σ)Oldingi xotiraning qanchasini qoldirish. σ(bf) bilan doim bir xil qilib qoʻyilgan
itKirish darvozasi0~1 (σ)Yangi qiymatning qanchasini yozish. σ(10 × boshlanish belgisi − 5): faqat birinchi qadamda ochiladi
gtNomzod qiymat−1~1 (tanh)Yoziladigan mazmun. tanh(3 × xt)
otChiqish darvozasi0~1 (σ)Xotiraning qanchasini chiqarish. σ(5) ≈ 0.993 bilan doim ochiq qoldirilgan
htYashirin holat (chiqish)−1~1ot ⊙ tanh(ct). Keyingi qatlamga va keyingi qadamdagi darvozalarga boradi
⊙Elementma-element koʻpaytmaVektorlarning bir xil oʻrindagi elementlari koʻpaytiriladi. Bu misoldagidek bitta son boʻlsa, oddiy koʻpaytirish boʻladi

Yangi boshlovchilar uchun izoh

Bu yacheykaning vaznlarini tushuntirish uchun inson belgilagan. Qoida: “faqat birinchi qadamda yoz, undan keyin deyarli oʻchirma”. Shuning uchun birinchi signal teskari qilinsa, 20 qadamdan keyingi xotira ham aniq teskari boʻladi. 4-boʻlimdagi RNN da esa xuddi shu kirishda birinchi signal teskari qilinganda ham oxirgi qiymat verguldan keyingi toʻrtinchi xonagacha bir xil edi. Bu LSTM uzoq xotirani saqlay oladigan tuzilma ekanini anglatadi. Yacheyka holati faqat bitta koʻpaytirish (f ≈ 1) va qoʻshish orqali davom etgani uchun teskari uzatiladigan gradiyent ham deyarli kamaymaydi [R3].

Ikki narsani qoʻshimcha qilamiz. Birinchidan, 1997-yilgi asl LSTM da unutish darvozasi yoʻq edi. Unutish darvozasini Gers va hammualliflar cheksiz davom etadigan kirishda yacheyka holati faqat oʻsib boraverish muammosini hal qilish uchun qoʻshgan [R4], bugungi kunda “LSTM” deganda odatda shu variant tushuniladi. Ikkinchidan, tuzilma xotirani saqlay olishi oʻqitish oʻsha vaznlarni topishini kafolatlamaydi. 2-koddagi tajriba bu farqni koʻrsatadi (6-boʻlim ostida).

6GRU

GRU — eshiklari ikkitaga qisqartirilgan LSTM

ht = (1 − zt) ⊙ ht−1 + zt ⊙ h̃tCho va boshq., 2014

Yashirin oʻlcham
Kirish oʻlchami

GRU nimani birlashtirdi

GRU LSTM ning unutish darvozasi va kirish darvozasini bitta yangilash darvozasi z ga birlashtirdi. Oldingi xotiraning (1 − z) qismini qoldiradi, boʻshagan joyni esa yangi nomzod h̃ bilan z qadar toʻldiradi. Koʻproq qoldirsa, kamroq yozadi; koʻproq yozsa, kamroq qoldiradi — bu tarozi. Bunga oldingi xotiradan nomzodni hisoblashda qanchalik foydalanishni belgilaydigan qayta tiklash darvozasi r qoʻshilgan. Yacheyka holati va yashirin holat alohida saqlanmagani uchun chiqish darvozasi ham yoʻq [R5].

Vaznlar toʻplami LSTM dagi 4 tadan 3 taga kamaygani uchun darslikdagi formula boʻyicha parametrlar aynan 3/4 ni tashkil qiladi. Keras dagi standart GRU siljishlarning yana bir toʻplamini saqlagani uchun biroz koʻproq (yashirin 16, kirish 1 boʻlganda 912 ta va 1,152 ta, taxminan 0.79 baravar). Qaysi biri yaxshiroq ekani masalaga bogʻliq.

2-koddagi tajriba — tuzilma xotirani saqlay olishi bilan oʻqitish uni topishi boshqa-boshqa narsa

Barcha qadamlari ±1 boʻlgan va toʻgʻri javobi birinchi qadam boʻlgan ketma-ketlik (keyingi qadamlarning hammasi xuddi shunday koʻrinishdagi xalaqit beruvchilar). Yashirin 16, Adam 0.005, 30 epoxa, oʻqitish uchun 2,000 ta·test uchun 1,000 ta. 2 ta seed natijalari alohida yozilgan. 50% atrofi — tasodifiy taxmin darajasi, yaʼni oʻqitish muvaffaqiyatsiz.

7Avtoenkoder

Avtoenkoder — qum soati kabi siqib, keyin qayta tiklaydi

Kirishni tor oʻrta qatlamga (tor boʻgʻiz, bottleneck) siqib, keyin yana asl holiga qaytarishni oʻrganadi. Toʻgʻri javob kerak emas. Kirishning oʻzi toʻgʻri javob. Drozofilaning qoʻziqorinsimon tanasi esa aksincha kengaytiradi.

Tor boʻgʻiz oʻlchami
Koʻrinish

Yangi boshlovchilar uchun izoh

Tor boʻgʻiz tor boʻlsa, faqat eng muhim narsani qoldirishga toʻgʻri keladi. Bu rasmdagi ketma-ketlik ikki xil sinusoidani aralashtirib tuzilgan 16 qadamli boʻlakdir. Faollashtirish funksiyasi boʻlmagan (chiziqli) avtoenkoder oʻqitish orqali erishadigan eng yaxshi natija bosh komponentlar tahlili (PCA) bilan bir xil ekani isbotlangan [R6], shuning uchun bu rasm oʻsha optimal natijani bevosita hisoblab koʻrsatadi. Qatlamlari koʻp boʻlgan nochiziqli avtoenkoder PCA dan ham yaxshiroq siqa oladi [R7].

Ketma-ketlik modellarida RNN enkoder bitta gapni qatʼiy uzunlikdagi vektorga siqib, RNN dekoder uni boshqa gapga yoyadigan tuzilma (enkoder–dekoder) sifatida ishlatilgan [R5]. Uzun gapni bitta tor boʻgʻizga toʻliq sigʻdirish qiyinligi cheklovi keyingi 3-8 qismdagi attention ni vujudga keltiradi.

8Belgilar·tarix

Diagramma belgilari va tarix — rasmlarni qanday oʻqish, kim va qachon

Kitob va maqolalarda rasm belgilari biroz farq qiladi. Bu seriyadagi kelishuvlarni jamlab, ketma-ketlik modellari qaysi muammolarni yechib rivojlanganini xronologik tartibda koʻramiz.

SimvolMaʼnosiFeedforwardRNNLSTMGRUAvtoenkoder
QutiBitta qatlam (vaznga koʻpaytirish + faollashtirish funksiyasi)✓✓✓✓✓
→Qiymat oqadigan yoʻnalishFaqat oldingaOldinga + keyingi vaqt nuqtasigaOldinga + keyingi vaqt nuqtasigaOldinga + keyingi vaqt nuqtasigaFaqat oldinga
↺ HalqaOldingi vaqt nuqtasidagi qiymatni qayta oladi—hh va ch— (ketma-ketlik uchun RNN ishlatiladi)
σ0~1 oraligʻiga siquvchi eshik (darvoza)——3 ta (f, i, o)2 ta (z, r)—
tanh−1~1 oraligʻiga siquvchi faollashtirish funksiyasiIxtiyoriy✓Nomzod g va chiqishNomzod h̃Ixtiyoriy
⊙ · ⊕Elementma-element koʻpaytma · qoʻshish——✓✓—
Qum soatiTorayib, keyin kengayadigan qatlam oʻlchami————✓
9Tanlash yordamchisi

Tanlash yordamchisi — mening maʼlumotlarim uchun nimadan boshlash kerak

Uchta savolga javob bersangiz, boshlangʻich nuqta boʻladigan model tanlanadi. Bu toʻgʻri javob emas, birinchi nomzod. Yakuniy qaror har doim validatsiya maʼlumotlarida taqqoslash orqali qabul qilinadi (3-2, 9-boʻlim).

① Maʼlumotlar
② Ketma-ketlik uzunligi
③ Ishlov berish usuli

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colabda oldindan oʻrnatilgan kutubxonalardan foydalanadi. “Notebook (.ipynb) yuklab olish” tugmasini bosib, Colabda Fayl → Notebookni yuklash orqali oching yoki nusxalab, yangi notebook katagiga joylashtiring.

1-kod · RNN va LSTM ni numpy bilan qadamma-qadam hisoblash4·5-boʻlimlarga bogʻliq · numpy, matplotlib · CPU da 1 soniyadan kam

4-boʻlimdagi bitta sonli RNN va 5-boʻlimdagi qoʻlda belgilangan LSTM ni bir xil ketma-ketlik bilan hisoblaydi. Yashirin holat, teskari uzatiladigan gradiyent va birinchi signal teskari qilingandagi oʻzgarish sahifadagi raqamlar bilan bir xil chiqadi. Oʻz maʼlumotlaringizga almashtirish uchun faqat SEQ ni oʻzgartiring.

Bajarilish natijasi (2026-10-03 da bajarilgan, numpy 2.4 · matplotlib 3.10 · CPU). Hisobda tasodifiy sonlar yoʻqligi sababli, qachon ishga tushirilsa ham natija bir xil.
2-kod · Keras bilan SimpleRNN · LSTM · GRU ni taqqoslash — “birinchi signalni eslab qolish”6-boʻlimga bogʻliq · tensorflow(Keras), numpy, matplotlib · CPU da taxminan 5 daqiqa

Barcha qadamlari ±1 va toʻgʻri javobi birinchi qadam boʻlgan ketma-ketlikni uchta model bilan oʻqitadi. Uzunlik 10 · 50 · 100, 2 ta seed. 6-boʻlim ostidagi jadval aynan shu chiqishdan tuzilgan.

Ishga tushirish natijasi (2026-10-03 da ishga tushirilgan, TensorFlow 2.21 · Keras 3.15 · CPU). Seed·versiya·apparatga qarab muvaffaqiyat va muvaffaqiyatsizlik oʻzgarishi mumkin. Bu oʻzgaruvchanlikning oʻzi ham ushbu tajriba koʻrsatadigan narsalardan biri.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash” tugmasi bosilganda prompt ortidan tanlangan kod ham qoʻshiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozsangiz boʻladi.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki maqola uchun AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish faktini va koʻlamini maʼlum qiling.

Atamalar lugʻati

Bu matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Oʻxshatish tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Drozofila va miya oʻxshatishlariga kuch darajasi belgilangan. Bevosita haqiqatan ham bir xil ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas

TushunchaKundalik hayotdan oʻxshatishDrozofila va miya oʻxshatishiOʻxshatish xato boʻladigan joy
Yashirin holatKitob oʻqiyotganda xayolda yigʻilib boradigan syujet xulosasiQisman Neyronlar guruhining davomli faolligiMiyadagi qisqa muddatli xotira qaysi zanjirlar orqali saqlanishi sohaga qarab farq qiladi va hali tadqiq qilinmoqda
Yoyish·vaznlarni boʻlishishBir xil xodim har kuni bir xil ish qoidalari bilan ishlashiYoʻqMiya har bir vaqt nuqtasi uchun bir xil “nusxa” yaratmaydi. Yoyish — hisoblash uchun chizilgan rasm
Gradiyentning yoʻqolishi“Buzilgan telefon” oʻyinida dastlabki gapning xiralashishiYoʻq Teskari tarqalishning oʻzi miyada tasdiqlanmagan“Buzilgan telefon”da oldinga ketayotgan signal xiralashadi, gradiyentning yoʻqolishida esa orqaga ketayotgan oʻqitish signali kamayadi
Yacheyka holatiZavoddagi konveyer lentasiYoʻqLenta ustidagi buyum oʻzgarmay ketadi, yacheyka holati esa har qadamda unutish darvozasi qadar biroz kamayadi
DarvozaSuv jumragi (qanchalik ochish: 0~1)Qisman Sinaptik uzatishni boshqaruvchi neyromodulyatorlar (masalan: drozofila qoʻziqorinsimon tanasidagi dofamin)Dofamin oʻqitishda (bogʻlanish kuchining oʻzgarishida) ishtirok etadi. LSTM darvozasi esa har qadamdagi oqimni belgilaydigan hisoblash, uning oʻzi oʻqitish emas
GRU ning yangilash darvozasiTarozi: eski xotiradan qancha olinsa, yangi mazmun shuncha koʻp joylanadiYoʻqHaqiqiy tarozidan farqli ravishda har qadamda, har bir son uchun boshqa nisbat ishlatiladi
Avtoenkoder tor boʻgʻiziUzoq yigʻilishni uch qatorga xulosalab, keyin yana kengaytirib yozishQisman Teskari misol: qoʻziqorinsimon tana toraytirmaydi, kengaytiradiXulosalashdan farqli ravishda avtoenkoderda “nima muhim” ekanini inson belgilamaydi, faqat tiklash xatosi orqali aniqlanadi

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasmlar uchun manbalar

E-1 Muallif haqida

Sangsun Ahn (M-Robo MChJ rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaperning tashqi venchur kompaniyasi M-Robo MChJni tashkil etib, uning rahbari lavozimida ishlamoqda. M-Robo MChJ ommaviy axborot vositasi ichidagi venchur loyiha sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, Koreya internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radiochastota agentligi va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining A.I yangiliklar gazetasi Money-Roboni yuritmoqda. Rahbarlik davrida Osiyo ochiq maʼlumotlar xakatonida gʻolib boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patentning ixtirochisi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi, Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim institutida fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Eng yuqori ilmiy darajasi — iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil

Maʼruzalar

  • Sangsun Ahn (2025). «Biznes uchun maʼlumotlar fani» maʼruzalar matni. Koreya ochiq kiberuniversiteti, sunʼiy intellekt integratsiyasi kafedrasi.
  • Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.
  • Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.

STEP maʼruzalariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli ochilishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va maʼruzalar

  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. «Kelajak jamiyati», 16(2). Asl matn
  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Milliy keksalik taʼminoti paneli ilmiy konferensiyasi maʼruza materiallari (2025.05.13), Milliy pensiya xizmati, Milliy pensiya tadqiqot instituti. Maʼruza materiallari
  • Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Kelajak jamiyati», 16(1). Asl matn
  • Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan raqib maʼlumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Kelajak jamiyati», 15(3). Asl matn
  • Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster maʼruzasi (2024.06.19), Seul media oliy maktabi universiteti.
  • Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻrganish modeli. 10-ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli ilmiy konferensiyasi poster maʼruzasi (2024.05.17), Koreya mehnat farovonligi korporatsiyasi, Mehnat farovonligi tadqiqot instituti.
  • Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. «Kelajak jamiyati», 15(1). Asl matn

E-2 Ilmiy manbalar

  1. [R1] Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211. — Kirish qismi, 4·8-boʻlimlar
  2. [R2] Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166. doi:10.1109/72.279181 — 4·8-boʻlimlar
  3. [R3] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. doi:10.1162/neco.1997.9.8.1735 — Kirish qismi, 5·8-boʻlimlar
  4. [R4] Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471. doi:10.1162/089976600300015015 — 5·8-boʻlimlar (unutish darvozasi)
  5. [R5] Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. EMNLP 2014, 1724–1734. doi:10.3115/v1/D14-1179 — 6·7·8-boʻlimlar (GRU, enkoder–dekoder)
  6. [R6] Baldi, P., & Hornik, K. (1989). Neural networks and principal component analysis: Learning from examples without local minima. Neural Networks, 2(1), 53–58. Muallifning ochiq nusxasi — 7·8-boʻlimlar
  7. [R7] Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507. doi:10.1126/science.1127647 — 7·8-boʻlimlar
  8. [R8] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. deeplearningbook.org — 3·4-boʻlimlar (10-bob: rekurrent neyron tarmoqlar, BPTT)
  9. [R9] Caron, S. J. C., Ruta, V., Abbott, L. F., & Axel, R. (2013). Random convergence of olfactory inputs in the Drosophila mushroom body. Nature, 497(7447), 113–117. doi:10.1038/nature12063 — 7-boʻlim
  10. [R10] Dasgupta, S., Stevens, C. F., & Navlakha, S. (2017). A neural algorithm for a fundamental computing problem. Science, 358(6364), 793–796. bioRxiv preprinti — 7-boʻlim

E-3 Rasmlar uchun manbalar

  • 1-boʻlimdagi yaqinlashish·uzoqlashish kadrlari — 3-1 «AI qanday ishlaydi» qismining 3·4-boʻlimlaridagi kadrlar bilan bir xil sozlama
  • 7-boʻlimdagi qoʻziqorinsimon tana rasmi — 3-1 ning 5-boʻlimidagi bilan bir xil taxminiy raqamlar (glomerullar taxminan 50 turi, Kenyon hujayralari taxminan 2,000 ta)

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyidagi OJT masʼullari va tyutorlar uchun mashgʻulot yoʻriqnomasi. Vaqtlar taxminiy, shuning uchun haqiqiy darsga moslab oʻzgartiring.

Auditoriya3-2 ni tugatgan talabalar va xodimlar. Sensor·log·matn·vaqt qatori maʼlumotlari bilan ishlaydigan amaliyotchilar
Talab qilinadigan bilimlar3-2 dagi teskari tarqalish va gradiyentning yoʻqolishi, sigmoid·tanh. 3-3 dagi vaznlarni boʻlishishni bilsangiz, 3-boʻlim oson boʻladi
Oʻquv maqsadlari① Feedforward tarmoq tartib bilan ishlashi nima uchun qiyinligini ikki usul (oʻrtacha, ketma-ket ulash) orqali tushuntiradi ② RNN ning yashirin holati va gradiyentning yoʻqolishini raqamlar bilan koʻrsatadi ③ LSTM·GRU darvozalari nima qilishini tushuntiradi va “tuzilma xotirani saqlay oladi” bilan “oʻqitish uni topadi”ni farqlaydi
Taxminiy vaqtOʻqish 45~55 daqiqa · animatsiya namoyishi 25 daqiqa · Colab amaliyoti 30 daqiqa (1-kod 10 daqiqa, 2-kodni ishga tushirish 5 daqiqa + tahlil 15 daqiqa)

Uch xil mashgʻulot rejasi

Maʼruza shakli, 50 daqiqa

Tushunchalarga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlimdagi bir xil kadr) → 2·3-boʻlimlar 10 daqiqa → 4-boʻlim gradiyentning yoʻqolishi 10 daqiqa → 5-boʻlim birinchi signalni teskari qilish 15 daqiqa → 6-boʻlim ostidagi tajriba jadvalini muhokama qilish 5 daqiqa → tekshiruv savollari 5 daqiqa.

Ish joyidagi OJT, 90 daqiqa

Ishga tatbiq etishga yoʻnaltirilgan

9-boʻlimdagi tanlash yordamchisi bilan jamoa maʼlumotlarini tasniflash 15 daqiqa → 4·5-boʻlimlar 20 daqiqa → 2-kodni ishga tushirish·tahlil 30 daqiqa (“seedga qarab natija farq qiladi”ni qanday hisobot qilish kerak) → 7-boʻlim anomaliyani aniqlash gʻoyasi 15 daqiqa → prompt kartalari 10 daqiqa.

1:1 tyutorlik

Darajaga qarab suʼrat

Boshlovchilar uchun faqat 1·3·5·9-boʻlimlar. Oʻrta darajadagilarga 5-boʻlimdagi c hisobini qoʻlda uch qadam kuzatib, 1-koddagi lstm funksiyasi bilan solishtirishni, keyin 6-boʻlimdagi parametrlar formulasini mustaqil keltirib chiqarishni topshiring.

Boʻlimlar boʻyicha asosiy jihatlar

BoʻlimToʻxtab beriladigan savolBoshqaruv boʻyicha maslahat
1 Bittadan“Faqat uchinchi kadrga qarab yaqinlashayotganini bilish mumkinmi?”“Hozirgi bitta kadr”da toʻxtatib, keyin “Tartib”ga almashtiring
2 Feedforward“Gap uzunligi har safar har xil boʻlsa, ketma-ket ulash qanday boʻladi?”Uzunlik 3 va 5 ni navbatma-navbat bosib, kirish qadamlari soni oʻzgarishini kuzating
3 Halqa va yoyish“Yoyilgan beshta qutining vaznlari nechta toʻplam?”Yigʻilgan rasm ↔ yoyilgan rasmni navbatma-navbat bosing
4 RNN“w_h oshirilsa xotira uzoq saqlanadi, unda nega oʻqitish qiyinlashadi?”0.9 → 1.5 ga oʻzgartirib, h12 va gradiyent raqamlarini taqqoslang
5 LSTM“Birinchi signal teskari qilinsa, 20 qadamdan keyingi xotira nima boʻladi?”b_f = 5 da +1/−1 ni almashtirib, keyin b_f = 1 ga oʻzgartirib farqni koʻring
6 GRU“Darvozalari bor LSTM·GRU nega T = 100 da muvaffaqiyatsiz boʻldi?”Tajriba jadvalidagi seed 0 va 1 ni yonma-yon oʻqing
7 Avtoenkoder“Tor boʻgʻiz 4 boʻlganda xato nega birdan kamayadi?”Tor boʻgʻizni 1 → 4 gacha oshirib yashil egri chiziqni kuzating, keyin qoʻziqorinsimon tana koʻrinishiga oʻting
8 Belgilar·tarix“1997-yilgi LSTM bilan bugungi LSTM ning farqi nimada?”Xronologiyani bosib, 2000-yildagi unutish darvozasiga oʻting
9 Tanlash yordamchisi“Bizning jamoa maʼlumotlari qaysi turga kiradi?”Har bir ishtirokchiga javob tanlatib, tavsiyalar ajraladigan nuqtalarni muhokama qiling

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushunchaToʻgʻri tushuntirishKoʻrsatiladigan sahna
LSTM ishlatilsa, uzoq xotira muammosi hal boʻladiLSTM — uzoq xotirani saqlay oladigan tuzilma. Oʻqitish oʻsha vaznlarni topishi masala·oʻqitish vaqti·boshlangʻich qiymatlarga bogʻliq6-boʻlim ostidagi tajriba jadvali (T = 100)
SimpleRNN bir necha qadamdan keyin albatta unutadiBoshlangʻich qiymatlar va masalaga qarab ancha uzoq eslab qolishi ham mumkin. Bu tajribada T = 50 gacha ikkala seed ham muvaffaqiyatli boʻldi6-boʻlim ostidagi tajriba jadvali (T = 50)
LSTM da boshidanoq unutish darvozasi bor edi1997-yilgi asl maqolada yoʻq edi, uni 2000-yilda Gers va hammualliflar qoʻshgan8-boʻlimdagi xronologiya
GRU har doim LSTM dan tezroq va yaxshiroqParametrlari taxminan 3/4 ga kam, xolos; samaradorlik masalaga bogʻliq. Bu tajribadagi T = 50 da faqat GRU muvaffaqiyatsiz boʻldi6-boʻlim
Avtoenkoder miyaning xotira usulidan andoza olganBu toraytirib xulosalaydigan hisoblash usuli. Drozofilaning qoʻziqorinsimon tanasi esa aksincha kengaytiradi7-boʻlimdagi qoʻziqorinsimon tana koʻrinishi

Tekshiruv savollari (izohni ochish uchun bosing)

Q1. Ketma-ketlikning oʻrtachasini olib feedforward neyron tarmoqqa berilsa, qaysi maʼlumot yoʻqoladi? Misol bilan tushuntiring.

Tartib yoʻqoladi. 100 → 110 → 120 (oʻsish) va 120 → 110 → 100 (pasayish) ning oʻrtachasi ikkalasida ham 110 boʻlgani uchun neyron tarmoq ularni farqlay olmaydi.

Q2. Bitta sonli RNN h_t = tanh(x_t + 0.9·h_(t−1)) ga 1, 0, 0 berilsa, h_1, h_2 qancha boʻladi?

h_1 = tanh(1) ≈ 0.762, h_2 = tanh(0.9 × 0.762) = tanh(0.686) ≈ 0.595.

Q3. Unutish darvozasi f = σ(5) ≈ 0.9933 da oʻzgarmas va kirish darvozasi toʻliq yopiq boʻlsa, birinchi qadamda yozilgan yacheyka holati 20-qadamda dastlabki qiymatning necha baravari boʻladi?

19 qadam davomida koʻpaytirilgani uchun 0.9933 ning 19-darajasi ≈ 0.880 baravar. 5-boʻlimdagi haqiqiy qiymat (0.988 → 0.864, taxminan 0.875 baravar) biroz kichikroq, chunki kirish darvozasi toʻliq yopilmagan (0.007) va xalaqit signallari oz-ozdan sizib kirgan. Bu ketma-ketlikdagi xalaqit signallari: 10 ta −1 va 9 ta +1.

Q4. Yashirin 16, kirish 1 boʻlganda SimpleRNN, LSTM, GRU (darslik formulasi) ning rekurrent qatlam parametrlari soni qancha?

Bir toʻplam = 16 × (16 + 1) + 16 = 288. SimpleRNN 288, LSTM 4 × 288 = 1,152, GRU 3 × 288 = 864. Keras dagi standart GRU 48 ta siljish qoʻshib, 912 ta boʻladi.

Q5. 2-kodda LSTM T = 100 da ikkala seedda ham muvaffaqiyatsiz boʻldi. “LSTM uzoq xotiraga qodir emas” degan xulosa chiqarish mumkinmi?

Yoʻq. 5-boʻlimdagidek vaznlar mos belgilansa, LSTM uzoq xotirani saqlay oladi. Muvaffaqiyatsizlik 30 epoxa ichida gradiyent tushish oʻsha vaznlarni topa olmaganini bildiradi. Oʻqitish vaqti, oʻqitish tezligi (learning rate), maʼlumotlar hajmini oʻzgartirib qayta tajriba qilish va bir nechta seed bilan takrorlash kerak — shundagina xulosa chiqarish mumkin.

Colab topshiriqlari

Asosiy

1-koddagi lstm funksiyasida kirish darvozasini doim ochiq (i = σ(5)) qilib oʻzgartiring. Birinchi signal teskari qilinganda 20 qadamdan keyingi yacheyka holati qanday boʻlishini hisoblang va kirish darvozasining vazifasini ikki gap bilan yozing.

Murakkab

2-koddagi T = 100 dagi muvaffaqiyatsizlikni muvaffaqiyatga aylantirishning kamida bitta usulini sinab koʻring (epoxalarni oshirish, oʻqitish tezligini oʻzgartirish, maʼlumotlarni koʻpaytirish va h.k.). Kamida 3 ta seed bilan natijalarni jadval shaklida taqdim eting va nima samara berganini asoslab yozing.

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Yangi boshlovchilar4-boʻlimdagi gradiyent grafigi va 7·8-boʻlimlar tashlab ketilsa ham mavzu izchilligi buzilmaydi. Faqat 5-boʻlimdagi “birinchi signalni teskari qilish”ni aniq koʻrsating
Chuqurlashtirilgan4-boʻlimdagi gradiyentlar koʻpaytmasi formulasini yashirin oʻlcham bir nechta boʻlgan holatga (matritsaga) umumlashtiring va xos qiymatlar bilan gradiyentning yoʻqolishi·portlashi orasidagi bogʻliqlikni muhokama qiling [R2]
Qoʻshimcha oʻrganishSangsun Ahn, «Biznes uchun maʼlumotlar fani» maʼruzalar matni (maʼlumotlar fani boʻyicha umumiy) · STEP [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash (3-5 va 3-8 qismlarga bogʻliq) · STEP [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari (3-6 qismga bogʻliq)
Oʻqituvchilar uchun materiallarTekshiruv savollarini baholash mezonlari va topshiriqlarning namunaviy javoblarini Oʻqituvchilar uchun javoblar sahifasi (3-7) da koʻrishingiz mumkin

Barakalla!

«3-7 Ketma-ketlik modellari» qismini oxirigacha oʻqidingiz. Laboratoriya jamoasi bittadan xulosa aytib beradi.

Professor
ProfessorXotirani olib, qadamma-qadam yuradigan modellar bilan tanishdik.
  • RNN xotirani yashirin holatda saqlab, keyingi qadamga uzatadi
  • LSTM eshiklari (darvozalari) uzoq xotirani saqlay oladi
  • Saqlay olish bilan oʻqitish uni topishi boshqa-boshqa narsa
Yordamchi
YordamchiT = 100 da yana 50%-a!
Pashsha-tadqiqotchi
Pashsha-tadqiqotchiBirinchi signal… nima edi-ya…