Oʻqituvchilar uchun javoblar

3-1AI qanday ishlaydi

3-1 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollarining javoblari va baholash mezonlari

Q1. Mashinali oʻrganish va chuqur oʻrganishni “belgi” soʻzidan foydalanib, har birini bitta gap bilan farqlang.

• Namunaviy javob: Mashinali oʻrganishda (anʼanaviy usulda) belgilarni inson belgilaydi, mashina esa har bir belgiga koʻpaytiriladigan vaznni oʻrganadi. Chuqur oʻrganishda esa xom maʼlumotdan boshlab belgilargacha hammasini mashina oʻrganadi.
• Baholash (3 ball)
  • 2 ball: ikki usulni “belgilarni kim belgilaydi” degan savol orqali farqlagan.
  • 1 ball: chuqur oʻrganish ham mashinali oʻrganishning bir tarmogʻi ekanini aytgan yoki misol keltirgan (3 ta vazn va 1,741 ta vazn).
• Ball ayirish: “Chuqur oʻrganishda inson hech narsa qilmaydi” deb yozsa, 1 ball ayiriladi. Maʼlumotlarni va model tuzilishini inson belgilaydi.

Q2. Oʻqitish maʼlumotlarida “yoritish xiralashishi” sahnalari boʻlsa ham, nega belgi A bu sahnalarda xato qiladi?

• Namunaviy javob: Belgi A (maydon oʻzgarishi, markaz siljishi) ga oʻtkazilganda, yoritish sahnasi “maydoni keskin oshadi, markazi esa joyida qoladi” degan nuqtaga aylanadi. Bu nuqta yaqinlashish bilan bir tomonda, undan ham uzoqroqda joylashadi. Bitta toʻgʻri chiziq bilan uni yaqinlashishdan ajratib boʻlmaydi. Maʼlumot ikki songa qisqartirilganda farqlash uchun kerakli axborot yoʻqolgani sababli, maʼlumot qoʻshish bilan bu tuzalmaydi.
• Baholash (3 ball)
  • 1 ball: belgilar tekisligida yoritish sahnasi yaqinlashish tomonida joylashadi.
  • 1 ball: bitta toʻgʻri chiziq (chiziqli klassifikator) bilan ajratib boʻlmaydi.
  • 1 ball: axborot belgilarni yaratish bosqichidayoq yoʻqolgan. Maʼlumot qoʻshish emas, belgilarni oʻzgartirish kerak.

Q3. Inson sezgilaridan qaysi biri talamusdan oʻtmasdan bevosita bosh miya poʻstlogʻiga boradi?

• Javob: hid bilish (hid bilish epiteliysi → hid bilish piyozchasi → noksimon poʻstloq). 1 ball.
• Qoʻshimcha qilsa yaxshi: noksimon poʻstloqdan orbitofrontal poʻstloqqa oʻtishda talamus orqali oʻtadigan yoʻl ham bor (Sela va boshq., 2009).

Q4. Drozofiladagi LPLC2 bilan 3-boʻlimdagi belgi B nimasi bilan oʻxshash?

• Namunaviy javob: ikkalasi ham “jismning har tomonga kattalashishi”ni “shunchaki qorongʻilashish”dan farqlaydi. LPLC2 harakatsiz qorongʻilashishga javob bermaydi (Klapoetke va boshq., 2017). Farqi esa qanday hosil boʻlganida. Belgi B ni inson loyihalagan, LPLC2 esa rivojlanish jarayonida shakllangan zanjir.
• Baholash (2 ball): oʻxshashlik uchun 1 ball, farq uchun 1 ball.

Q5. “Oʻqitish maʼlumotlarida aniqlik 100% chiqdi, demak amalda ham yaxshi ishlaydi” degan xulosaning muammosi nimada?

• Namunaviy javob: oʻqitish maʼlumotlarida boʻlmagan vaziyatga duch kelsa, model xato qilishi mumkin. 4-boʻlimdagi “yoritish oʻzgarishi yoʻq” holati bunga misol. Oʻqitishdagi yoʻqotish (loss) 0.011 gacha tushdi, lekin yoritish sahnalaridan 20 tadan 0 tasi toʻgʻri topildi. Model hatto shu sahnalarda ham 0.99 ehtimollik bilan “qoch” deb ishonch bildirdi. Modelning haqiqiy qobiliyatini u ilgari koʻrmagan test maʼlumotlarida oʻlchash va amalda yuz beradigan vaziyatlar oʻqitish maʼlumotlarida bor-yoʻqligini tekshirish kerak.
• Baholash (3 ball)
  • 1 ball: oʻqitishdagi natija bilan haqiqiy samaradorlikni farqlagan.
  • 1 ball: sababini — maʼlumotlarda boʻlmagan vaziyat ekanini — koʻrsatgan.
  • 1 ball: kamida bitta chora taklif qilgan (test maʼlumotlari, amaliy maʼlumot yigʻish, monitoring).

Colab topshiriqlari uchun namunaviy javoblar

Asosiy topshiriq: “qiya yaqinlashish”ni qoʻshish

• 1-koddagi make_episode ga yangi turni qoʻshiladi. Masalan: soya kattalashgan sari markaz 3–5 katakka siljiydi. Toʻgʻri javob 1 (qochish kerak) deb belgilanadi.
• Kutilgan natija
  • Belgi A: markaz siljishi katta boʻlsa, “oʻtib ketish” tomoniga tasniflanadi. Aniqlik pasayishi ehtimoli yuqori.
  • Belgi B: chegara uzunlashgani uchun koʻpincha toʻgʻri topadi.
  • Neyron tarmoq: bu sahna oʻqitish maʼlumotlarida boʻlsa toʻgʻri topadi, boʻlmasa bir qismida xato qiladi.
• Baholash mezonlari
  • Natijalar jadvali bor.
  • Sababni “belgi qanday axborotni saqlaydi” va “maʼlumot qanday vaziyatlarni oʻz ichiga oladi” orqali tushuntirgan.
  • Aniq sonlar seedga qarab farq qiladi, shuning uchun sonlarning oʻziga emas, talqinga qaraladi.

Murakkab topshiriq: oʻz ishimdagi maʼlumotlar

• Yaxshi javobda quyidagilar boʻladi.
  • 3 ta belgi va ularning asosi (sohaviy bilim) keltirilgan.
  • Oʻqitish misollari soniga qarab taqqoslash grafigi bor.
  • “Misollar kam boʻlsa belgi usuli, yetarli boʻlsa neyron tarmoq usuli” kabi maʼlumot hajmiga bogʻliq xulosa chiqarilgan.
  • Test maʼlumotlari faqat oxirida bir marta ishlatilgan.
• Koʻp uchraydigan xatolar
  • Belgilarni hisoblashda test maʼlumotlari haqidagi axborot aralashib ketadi (maʼlumot sizib chiqishi).
  • Faqat aniqlikka (accuracy) qarab, precision va recallni koʻrmaslik (nomutanosib maʼlumotlarda; 3-2, 9-boʻlim).

Darsda tez-tez beriladigan savollar

• “Unda chuqur oʻrganish mashinali oʻrganishdan yomonroqmi?”
  • Yoʻq. Bu masalaga va maʼlumot hajmiga bogʻliq.
  • Rasm, tovush, matn kabi belgilarini soʻz bilan taʼriflash qiyin boʻlgan maʼlumotlarda chuqur oʻrganish ancha kuchli.
  • Bu sahifadagi sahnalar ataylab sodda qilingan, shuning uchun yaxshi belgilarni inson osongina oʻylab topa oldi.
• “Inson miyasi ham teskari tarqalishni (backpropagation) bajaradimi?”
  • Bu tasdiqlanmagan. Miya oʻxshash ishni boshqa usul bilan bajarishi mumkin degan gipoteza oʻrganilmoqda (Lillicrap va boshq., 2020).
• “Nega brauzerdagi sonlar bilan Colabdagi sonlar biroz farq qiladi?”
  • Ikki muhitning tasodifiy son generatorlari har xil, shuning uchun sahnalar biroz farq qiladi.
  • Belgi A ning aniqligi brauzerda 86.9% (bitta yaqinlashish ham oʻtkazib yuborilgan), Colabda 87.5%.
  • Xulosa bir xil: yoritish sahnalarida ikkala muhitda ham hammasi xato.

3-2Neyron tarmoq qismlari

3-2 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollarining javoblari va baholash mezonlari

Q1. Faollashtirish funksiyasi boʻlmagan neyron tarmoqqa 10 ta yashirin qatlam qoʻshilsa, u qanday chegara chiza oladi? (2 ball)

• Javob: faqat bitta toʻgʻri chiziq (yuqori oʻlchamda — tekislik).
• Baholash: xulosa uchun 1 ball. Bir necha chiziqli almashtirish birlashtirilsa ham bitta chiziqli almashtirish boʻlib qolishi sababi (W₂W₁x = Wx) uchun 1 ball.

Q2. Sigmoid oʻrniga ReLU ishlatilsa, nega gradiyentning yoʻqolishi kamayadi? (2 ball)

• Javob: sigmoidning gradiyenti eng koʻpi bilan 0.25, shuning uchun har qatlamda koʻpaytirilib tez kichrayadi. ReLU ning musbat sohadagi gradiyenti 1 ga teng, shuning uchun orqaga qarab borganda kamaymaydi.
• Baholash: 0.25 va 1 ni taqqoslash uchun 1 ball, “koʻpaytirilib kamayadi” degan tushuntirish uchun 1 ball. Manfiy sohadagi gradiyent 0 ekanini (oʻchgan neyron) qoʻshimcha qilsa yaxshi.

Q3. Toʻgʻri javob 1, bashorat 0.41 boʻlsa, MSE yoʻqotishi va ∂L/∂y qancha? (2 ball)

• Javob: L = (1 − 0.41)² = 0.3481 ≈ 0.35, ∂L/∂y = −2 × (1 − 0.41) = −1.18.
• Baholash: har biri 1 ball. ∂L/∂y da ishorasi ham toʻgʻri boʻlishi kerak.

Q4. Oʻqitishdagi yoʻqotish kamayishda davom etadi, validatsiya yoʻqotishi esa maʼlum bir paytdan oshib boradi. Bu qanday holat va nima qilish kerak? (3 ball)

• Javob: ortiqcha moslashish (overfitting).
• Baholash: ortiqcha moslashish deb tashxis qoʻyish uchun 1 ball, validatsiya yoʻqotishi eng past boʻlgan paytdagi modelni ishlatadigan erta toʻxtatish (early stopping) uchun 1 ball, dropout, vazn soʻnishi (weight decay), maʼlumotni koʻpaytirishdan kamida bittasi uchun 1 ball.

Q5. Nuqsonlar ulushi 10% boʻlgan tekshiruvda “hammasi normal” deb javob beradigan modelning aniqligi va recalli qancha? (2 ball)

• Javob: aniqlik 90%, recall 0%.
• Baholash: har biri 1 ball. “Nomutanosib maʼlumotlarda faqat aniqlikka qarash mumkin emas” deb qoʻshimcha qilsa yaxshi.

Colab topshiriqlari uchun namunaviy javoblar

Asosiy topshiriq: tanh → ReLU, yashirin neyronlar 4·16·64

• Ikki qatorni oʻzgartirish kerak. Faollashtirish funksiyasini max(0, z) ga, uning hosilasini esa “z > 0 boʻlsa 1, aks holda 0” ga almashtiriladi.
• Natijalar kodni ishga tushirib, jadvalga yigʻiladi. Neyronlar koʻpaytirilsa, oʻqitishdagi aniqlik odatda oshadi, ammo validatsiya aniqligi maʼlum nuqtadan boshlab boshqa oshmasligi yoki pasayishi mumkin.
• Baholash mezoni: sozlama validatsiya aniqligi boʻyicha tanlanganmi (oʻqitish aniqligi boʻyicha tanlansa, ball ayiriladi), sabab ortiqcha moslashish bilan bogʻlab tushuntirilganmi — shunga qaraladi.

Murakkab topshiriq: oʻz ishimdagi maʼlumotlar bilan 6:2:2 baholash

• Model faqat oʻqitish maʼlumotlarida oʻqitiladi, sozlamalar va chegara (threshold) validatsiya maʼlumotlari bilan tanlanadi, test maʼlumotlari esa faqat oxirida bir marta ishlatiladi.
• 0.5 chegarasi toʻgʻrimi yoki yoʻqligi ishdagi xarajatlarga qarab baholanadi. Masalan, nuqsonni oʻtkazib yuborish qimmatga tushsa, chegarani pasaytirib recall oshiriladi va shu tufayli koʻpaygan soxta signallar (precisionning pasayishi) ham birga hisobotda koʻrsatiladi.
• Baholash mezoni: uchala koʻrsatkich ham hisobotda berilganmi, chegara boʻyicha qarorning asosi ish vaziyatiga mosmi — shunga qaraladi. Shaxsiy maʼlumotlar mavjud boʻlgan maʼlumotlar ishlatilmagani yoki anonimlashtirilgani tekshiriladi.

3-3Tasvirlar va CNN

3-3 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollarining javoblari va baholash mezonlari

Q1. 224×224 rangli rasmni 1,000 ta yashirin neyronli MLP ga kiritilsa, birinchi qatlamda nechta vazn boʻladi? (siljish (bias)siz)

• Javob: 224 × 224 × 3 = 150,528, × 1,000 = 150,528,000 ta (taxminan 150 million).
• Qoʻshimcha qilsa yaxshi: 64 ta 3×3 rangli filtrli konvolyutsiya qatlamida 3 × 3 × 3 × 64 = 1,728 ta vazn bor (siljish bilan 1,792 ta).
• Baholash (2 ball): formula uchun 1 ball, javob uchun 1 ball. 3 ta kanal hisobga olinmasa, 1 ball ayiriladi.

Q2. 6×6 kirishga 3×3 filtr paddingsiz, qadam 1 bilan qoʻllanilsa, chiqish oʻlchami qancha boʻladi?

• Javob: (6 − 3 + 1) × (6 − 3 + 1) = 4×4. 1 ball.

Q3. 5-boʻlimdagi vertikal chegara filtri chap yuqori joyga qoʻyilganda chiqish nega −3 boʻlishini hisob bilan koʻrsating.

• Namunaviy javob: ustma-ust tushgan boʻlakning ikkinchi qatori [0, 3, 3], filtrning har bir qatori [1, 0, −1]. 0×1 + 3×0 + 3×(−1) = −3. Birinchi va uchinchi qatorlar butunlay 0.
• Baholash (2 ball): ustma-ust tushgan boʻlakni toʻgʻri tanlasa 1 ball, kataklarni oʻzaro koʻpaytirib qoʻshish hisobi toʻgʻri boʻlsa 1 ball.

Q4. 2×2 oyna [6, 3, 0, 3] uchun max pooling va average pooling qiymatlari qancha?

• Javob: maksimum 6, oʻrtacha (6 + 3 + 0 + 3) / 4 = 3. Har biri 1 ball.

Q5. Piksellar bir xil qoida bilan aralashtirilib, model boshidan oʻqitilsa, MLP va CNN dan qaysi birining natijasi koʻproq pasayadi va nega?

• Namunaviy javob: CNN ning natijasi koʻproq pasayadi.
  • CNN “yaqin piksellar oʻzaro bogʻliq” degan farazni tuzilishiga (3×3 filtr, pooling) joylagan. Aralashtirilsa, bu faraz buziladi.
  • MLP esa boshidanoq piksellarning joylashuv munosabatidan foydalanmaydi, shuning uchun natijasi deyarli oʻzgarmaydi.
  • Haqiqiy natija: brauzerda MLP 92.7% → 91.3%, CNN 78.7% → 67.3%. Colabdagi 3 ta seed oʻrtachasi: MLP 88.4% → 90.0%, CNN 80.2% → 65.8%.
• Baholash (3 ball)
  • 1 ball: natija (CNN koʻproq pasayadi).
  • 1 ball: CNN ning farazini (qoʻshnilik munosabatini) tushuntirgan.
  • 1 ball: shartni (bir xil qoida bilan aralashtirib, boshidan oʻqitish) aniq aytgan. “Oʻqitilgan modelga aralashtirilgan rasm kiritiladi” deb yozsa, bu 1 ball berilmaydi.

Colab topshiriqlari uchun namunaviy javoblar

Asosiy topshiriq: diagonal filtr qoʻshish

• Namunaviy filtr: [[0,1,1],[-1,0,1],[-1,-1,0]] (oʻng yuqorisi yorugʻ, chap pasti qorongʻi boʻlgan diagonal chegara).

• 1-kod bilan hisoblangan 4×4 chiqish: 3 0 0 -6 6 6 6 0 0 0 0 0 3 0 -3 0

• Eng katta qiymat 6 boʻlib, u 2-qatorning 1-, 2-, 3-kataklarida chiqadi. Bu qiya chiziq emas, 7 raqamining yuqori tomoni ostidagi chegara. Bu filtr “yuqori va oʻng tomoni yorugʻ, pastki va chap tomoni qorongʻi” joylarga javob beradi, shuning uchun gorizontal chegaraga ham kuchli javob beradi.

• Yaxshi javob mana shunday kutilgan natija (diagonal chiziq) bilan haqiqiy natija farq qilganda sababni sonlarga asoslanib tushuntiradi. Faqat filtr nomiga qarab javob joyini taxmin qilish xato boʻlishi mumkinligi — bu topshiriqning asosiy saboqi.
• Baholash mezonlari
  • Filtrdagi sonlarning joylashuvini javob joyi bilan bogʻlab tushuntirgan.
  • Sonlar sifatida kod bilan hisoblangan qiymatlar keltirilgan.

Murakkab topshiriq: maʼlumotlarni kengaytirish (data augmentation)

• Kutilgan tendensiya
  • Oʻqitish rasmlariga 1–2 katak surilgan rasmlar qoʻshilsa, ikkala modelning ham 1–2 katak siljishdagi aniqligi oshadi.
  • MLP ning aniqligi ham ancha oshadi, chunki u surilgan joylarni maʼlumot orqali yodlab oladi.
  • Oʻqitishda boʻlmagan 3 katak siljishda esa hamon CNN kamroq pasayishi kutiladi. Aniq sonlarga oʻquvchi ishga tushirgan natija asosida qaraladi.
• Yaxshi xulosa namunasi: “Tuzilish (vaznlarni boʻlishish, pooling) maʼlumotsiz ham kichik siljishlarga kamroq taʼsirchan qiladi, kengaytirish esa faqat koʻrsatilgan oraliqdagi siljishlarga chidamli qiladi. Amalda ikkalasi birga ishlatiladi.”

Darsda tez-tez beriladigan savollar

• “CNN markazdagi rasmlarda MLP dan pastroq-ku?”
  • Toʻgʻri. Bu sahifadagi kabi oʻqitish va testdagi joylashuv bir xil, maʼlumot esa kam boʻlsa, MLP yutishi mumkin. CNN ning parametrlari 4.5 marta kam.
  • CNN ning afzalligi — parametrlarning kamligi va siljishga chidamliligi. U real fotosuratlar kabi joylashuvi har xil boʻlgan maʼlumotlarda katta samara beradi.
• “CNN joylashuv oʻzgarsa ham bir xil taniydi-ku, shunday emasmi?”
  • Yoʻq. 2 katak surilsa, CNN ning natijasi ham 78.7% → 69.3% ga tushadi (brauzer boʻyicha).
  • Katta CNN larning javobi ham bir necha piksel siljishda oʻzgarishi mumkin (Azulay & Weiss, 2019). “Nisbatan kamroq taʼsirlanadi” degan ifoda toʻgʻriroq.
• “Nega 1 katak surilganda MLP yuqoriroq?”
  • Bu bitta seed va 150 ta test rasmidan iborat kichik tajriba boʻlgani uchun yuzaga kelgan tebranish.
  • Colabdagi 3 ta seed oʻrtachasida 1 katak siljishda ham CNN (64.2%) MLP dan (54.7%) yuqori boʻldi. Xulosa koʻp marta takrorlangan natijalar asosida chiqarilishini ham birga oʻrgating.

3-4Nutq

3-4 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollari

• Q1 (1 ball): 4,000 Hz.
• Q2 (1 ball): 3 Hz.
• Q3 (2 ball): taxminan 48 dB (nazariy jihatdan 49.92 → 98.08 dB). Formula uchun 1 ball, qiymat uchun 1 ball.
• Q4 (2 ball): 98 kadr. (8,000 − 200) ÷ 80 = 97.5 → pastga yaxlitlab 97 + 1 = 98. “97” deb javob bersa, 1 ball.
• Q5 (2 ball): 1,960 ta, taxminan toʻrtdan bir qismi.

Topshiriq namunalari

• Asosiy (NMEL 40, FRAME 400): matritsa (kamaygan kadrlar soni) × 40 ga oʻzgaradi. Oyna uzun boʻlsa, chastota boʻyicha aniqlik ortadi, lekin kadrlar soni kamayib, vaqt boʻyicha oʻzgarishlar xiralashadi.
  • Baholash: kadrlar soni oʻzgarishi hisob bilan tekshirilganmi — shunga qaraladi.
• Murakkab (oʻzi yozib olish): bir xil tovushni ikki marta yozib olsa ham korrelyatsiya 1 boʻlmaydi. Masofa, shovqin, ovoz balandligi va gapirish tezligi farq keltirib chiqaradi.
  • Shaxsiy maʼlumotlardan foydalanishga rozilik olinganini tekshiring.

3-5Matn

3-5 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollari

• Q1 (1 ball): 0xAC01 (“각”).
• Q2 (2 ball): 14 bayt = 9 + 1 + 4.
• Q3 (2 ball): soʻzlar chastotasini vazn sifatida olib, qoʻshni boʻlaklar juftlarining uchrashini sanaladi va eng koʻp uchragan juft birlashtiriladi.
• Q4 (2 ball): soʻz birligida “모름” (nomaʼlum), BPE da ["초파리", "들", "이"].
• Q5 (2 ball): ikkalasi ham {dog:1, bites:1, man:1}. Joylashuv haqidagi axborot kerak.

Topshiriq namunalari

• Asosiy (kapalak gapini qoʻshish): “나비는” (“kapalak”) bir xil oʻrinda keladigan va bir xil soʻzlar (꽃을, 날개가) bilan birga uchraydigan “꿀벌은” (“asalari”), “초파리는” (“drozofila”) va boshqalarga yaqinlashishi kutiladi.
  • Qiymatlarni kodni ishga tushirib tekshiring. Oʻqituvchi darsdan oldin kodni bir marta ishga tushirib qoʻyadi.
• Murakkab (birlashtirishlar soni): birlashtirishlar koʻpaytirilsa, lugʻat kattalashadi va har bir gapdagi tokenlar soni kamayadi.
  • Lugʻat juda katta boʻlsa, kam uchraydigan tokenlar koʻpayib, oʻqitish uchun materiallar yetishmay qoladi.
  • Juda kichik boʻlsa, gaplar uzayib, hisoblash hajmi ortadi.
  • Asoslar jadval shaklida keltirilganmi — shunga qaraladi.

3-6Vaqt qatorlari va aksiya narxlari

3-6 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollari

• Q1 (1 ball): 500 juft.
• Q2 (2 ball): 10 marta. Birinchi oʻqitish 300 juft, oxirgisi 480 juft.
• Q3 (1 ball): taxminan 4 foiz punkti.
• Q4 (2 ball): tanlash yanglishligi (selection bias) va ortiqcha moslashish (overfitting). Test oraligʻi faqat oxirida bir marta ishlatiladi.
• Q5 (3 ball): natijani sonlar bilan oʻzgartirmasdan hisobot qilish (1 ball), maʼlumotlar va sozlamalar shartlarini koʻrsatish (1 ball), umumlashtirish chegaralari va keyingi tajribani taklif qilish (1 ball).

Topshiriq namunalari

• Asosiy (butun davr boʻyicha normallashtirish): sonlar biroz oʻzgaradi. Oʻzgarish yoʻnalishi maʼlumotlarga bogʻliq.
  • Asosiysi, natija yaxshilansa ham, yomonlashsa ham “bu kelajak haqidagi axborotdan foydalangan baholash, shuning uchun unga ishonib boʻlmaydi” ekanini tushuntirishdir.
• Murakkab (oʻzgarish kattaligini bashorat qilish): 2-boʻlimda daromadlilik mutlaq qiymatining avtokorrelyatsiyasi daromadlilikning oʻzinikidan katta edi (4/10 va 0/10). Shuning uchun bazaviy daraja (baseline) ga nisbatan yaxshilanish imkoniyati nisbatan katta deb kutish mumkin.
  • Haqiqiy natijani kodni ishga tushirib, kamida 3 ta seed bilan hisobot qilishni soʻrang.

Darsni olib borishda eʼtibor bering. Dars boshida va oxirida “bu oʻquv misoli, investitsiya maslahati emas” ekanini aniq ayting. Oʻquvchi muayyan aksiyani sotib olish yoki sotish haqida soʻrasa, bu sahifa doirasidan tashqari ekanini bildiring.

3-7Ketma-ketlik modellari

3-7 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollarining javoblari va baholash mezonlari

Q1. Ketma-ketlikning oʻrtachasini olib, toʻgʻri tarqaluvchi (feedforward) neyron tarmoqqa kiritilsa, qanday axborot yoʻqoladi?

• Namunaviy javob: tartib yoʻqoladi. 100 → 110 → 120 va 120 → 110 → 100 ning oʻrtachasi ikkalasida ham 110.
• Baholash (2 ball): “tartib” desa 1 ball, misol keltirsa 1 ball.

Q2. h_t = tanh(x_t + 0.9·h_(t−1)) ga 1, 0, 0 kiritilsa, h_1, h_2 qancha?

• Javob: h_1 = tanh(1) ≈ 0.762, h_2 = tanh(0.686) ≈ 0.595.
• Baholash (2 ball): har biri 1 ball. Yaxlitlashdagi ±0.002 farq toʻgʻri deb hisoblanadi.

Q3. f = σ(5) ≈ 0.9933 va kirish gate i butunlay yopiq boʻlsa, 20-katakdagi hujayra holati boshlangʻich qiymatning necha barobari boʻladi?

• Javob: 0.9933¹⁹ ≈ 0.880 barobar.
• Qoʻshimcha qilsa yaxshi: 5-boʻlimdagi haqiqiy qiymat (0.988 → 0.864, taxminan 0.875 barobar) biroz kichikroq boʻlishining sababi — kirish gate i 0.007 ga ochiq boʻlib, xalaqit beruvchi signallar (10 ta −1 va 9 ta +1) sizib kirgan.
• Baholash (2 ball): daraja koʻrsatkichi (19) toʻgʻri boʻlsa 1 ball, qiymat toʻgʻri boʻlsa 1 ball. 20-darajaga (0.874) koʻtarib yozsa, faqat 1 ball beriladi.

Q4. Yashirin oʻlcham 16, kirish 1 boʻlganda SimpleRNN, LSTM, GRU (darslikdagi formula) rekurrent qatlamlarining parametrlari soni qancha?

• Javob: bitta toʻplam = 16 × 17 + 16 = 288 ta.
  • SimpleRNN: 288 ta
  • LSTM: 4 × 288 = 1,152 ta
  • GRU (darslikdagi formula): 3 × 288 = 864 ta
• Qoʻshimcha qilsa yaxshi: Keras dagi standart GRU 48 ta siljishni qoʻshib, 912 ta boʻladi. Bu 2-kod chiqishiga mos keladi.
• Baholash (3 ball): har biri 1 ball.

Q5. LSTM T = 100 da muvaffaqiyatsiz boʻldi. “LSTM uzoq xotirani saqlay olmaydi” deb xulosa chiqarish mumkinmi?

• Namunaviy javob: mumkin emas.
  • 5-boʻlimdagidek vaznlar mos ravishda tanlansa, LSTM uzoq xotirani saqlay oladi.
  • Muvaffaqiyatsizlik 30 epoxa ichida gradiyent tushish usuli oʻsha vaznlarni topa olmaganini bildiradi.
  • Oʻqitish vaqtini, oʻqitish tezligini (learning rate) va maʼlumot hajmini oʻzgartirib, bir necha seed bilan qayta tajriba qilgandagina xulosa chiqarish mumkin.
• Baholash (3 ball)
  • 1 ball: tuzilishning imkoniyati bilan oʻqitish natijasini farqlagan.
  • 1 ball: muqobil tajriba taklif qilgan.
  • 1 ball: takroriy (seed) tajribalar zarurligini aytgan.

Colab topshiriqlari uchun namunaviy javoblar

Asosiy topshiriq: kirish gate ini doim ochiq qilish (i = σ(5))

• Kutilgan natija: har bir katakda hujayra holatiga 0.993 × g(±0.995) qoʻshiladi. Hujayra holati soʻnggi xalaqit signallariga ergashib kuchli tebranadi va birinchi signal teskarisiga oʻzgartirilsa ham 20 katakdan keyingi qiymat deyarli bir xil boʻlib qoladi.
• Oʻquvchi albatta kod bilan hisoblangan qiymatlarni keltirishi kerak. Oʻqituvchi darsdan oldin kodni bir marta oʻzi ishga tushirib, sonlarni tekshiradi.
• Yaxshi xulosa namunasi: “Kirish gate i ‘qachon yozish’ni belgilaydi. Istalgan paytda yozilaversa, eski signal yangi signal ostida qolib ketadi.”

Murakkab topshiriq: T = 100 dagi muvaffaqiyatsizlikni muvaffaqiyatga aylantirish

• Sinab koʻrishga arziydigan narsalar
  • Epoxalarni koʻpaytirish (masalan, 100 va undan koʻp)
  • Oʻqitish tezligini oʻzgartirish (0.001, 0.01)
  • Oʻqitish maʼlumotlarini koʻpaytirish
  • Qisqa ketma-ketliklardan boshlab, asta-sekin uzaytirib oʻqitish (curriculum learning)
  • Yashirin oʻlchamni oʻzgartirish
• Natijani faqat ishga tushirib bilish mumkin. Kamida 3 ta seed bilan jadval tuzdiring va muvaffaqiyat yoki muvaffaqiyatsizlik seedga qarab farq qilsa, buni ham natija sifatida hisobot qilishni soʻrang.
• Baholash mezoni: oʻzgartirishlar bir vaqtda bittadan taqqoslanganmi — shunga qaraladi. Natijalar saralab hisobot qilinmaganmi — bunga ham qaraladi.

Darsda tez-tez beriladigan savollar

• “Darslikda RNN uzun ketma-ketliklarda muvaffaqiyatsiz boʻladi deyilgan edi, nega SimpleRNN T = 50 da muvaffaqiyatli boʻldi?”
  • Topshiriq nisbatan sodda (faqat birinchi katakni eslab qolish), va initsializatsiya usuliga qarab xotira ancha uzoq saqlanishi ham mumkin. Keras rekurrent qatlamlarida rekurrent vaznlarni ortogonal matritsa bilan initsializatsiya qilish standart hisoblanadi.
  • Tajriba natijalarini darslikdagi gaplarga moslashtirishga urinmasdan, shartlarni koʻrsatib, natijani boricha hisobot qilish muhim.
• “Nega GRU T = 50 da muvaffaqiyatsiz boʻldi?”
  • Bu sozlamada (30 epoxa, oʻqitish tezligi 0.005) ikkala seedda ham natija tasodifiy taxmin darajasida qoldi. Sababini faqat shu tajriba asosida aniq aytib boʻlmaydi. Buni murakkab topshiriqqa bogʻlang.
• “Unutish gate i (forget gate) LSTM da boshidan bormidi?”
  • Yoʻq. 1997-yilgi asl maqolada yoʻq edi, uni Gers va boshqalar 2000-yilgi maqolada qoʻshgan (konferensiyada 1999-yilda taqdim etilgan).

3-8Attention va Transformer

3-8 sahifadagi “Oʻqituvchilar uchun maslahatlar”ga qaytish

Tekshiruv savollarining javoblari va baholash mezonlari

Q1. q = [2, 0.4], k = [2, 0], d_k = 2 boʻlganda q·k / √d_k ball qancha?

• Javob: q·k = 4, 4 / √2 ≈ 2.828.
• Baholash (2 ball): skalyar koʻpaytma uchun 1 ball, boʻlish uchun 1 ball.

Q2. [1.98, 1.98, 2.772] ballarining softmaxi va V = [10,0], [0,10], [6,6] ni aralashtirish natijasi qanday?

• Javob: attention ≈ [0.238, 0.238, 0.525], natija ≈ [5.53, 5.53]. 1-kod chiqishi [5.525, 5.525].
• Baholash (3 ball): softmax uchun 1 ball, vaznli yigʻindi formulasi uchun 1 ball, qiymat uchun 1 ball. ±0.01 farq toʻgʻri deb hisoblanadi.

Q3. Pozitsion kodlashsiz faqat self-attention ishlatilsa, soʻzlar tartibi aralashtirilganda har bir soʻzning chiqishi qanday boʻladi?

• Namunaviy javob: aynan bir xil boʻladi. Har bir soʻzning chiqishi faqat boshqa barcha soʻzlar bilan taqqoslash orqali aniqlanadi, taqqoslanadigan soʻzlar toʻplami esa tartibdan qatʼi nazar bir xil. 1-kodda farq 1e-16, yaʼni hisoblash xatosi darajasida edi.
• Baholash (2 ball): natija uchun 1 ball, sabab uchun 1 ball.

Q4. d = 512 boʻlgan multi-head attention qatlamining parametrlari soni qancha va headlar soni 16 ga oʻzgartirilsa, nima oʻzgaradi?

• Javob: 4 × 512² + 4 × 512 = 1,050,624 ta. Headlar soni oʻzgartirilsa ham bir xil qoladi (faqat head kengligi 64 → 32).
• Baholash (2 ball): qiymat uchun 1 ball, “oʻzgarmaydi” degan javob va sababi uchun 1 ball.

Q5. Uzunlik 4,096 → 8,192 ga oshsa, attention ballari soni qancha boʻladi?

• Javob: 4 barobar (16,777,216 → 67,108,864). 1 ball.

Colab topshiriqlari uchun namunaviy javoblar

Asosiy topshiriq: √d_k ga boʻlmaslik

• Kutubxona misolida boʻlinmasa, ballar √2 barobar oshib, attention bir tomonga koʻproq ogʻadi.
• Vektorlar 10 barobar kattalashtirilsa, ballar 100 barobar oshadi va softmax deyarli bitta katakka 1 beradi. Shunda qolgan kataklarning gradiyenti 0 ga yaqinlashib, oʻqitish qiyinlashadi.
• Sonlar sifatida oʻquvchi kod bilan hisoblagan qiymatlarni keltirishini soʻrang.

Murakkab topshiriq: pozitsion embeddingni olib tashlash

• Kutilgan natija: joylashuv haqida axborot boʻlmasa, birinchi katakni boshqa kataklardan farqlab boʻlmaydi. Shuning uchun faqat birinchi katakni tanlab koʻrib boʻlmaydi va toʻgʻri javoblar ulushi tasodifiy taxmin darajasiga yaqinlashishi kutiladi. “Birinchi katakka beriladigan attention” ham 1/T atrofiga tushadi.
• Haqiqiy natijani kodni ishga tushirib tekshirishni soʻrang. Oʻqituvchi darsdan oldin kodni bir marta oʻzi ishga tushirib koʻradi.
• Baholash mezoni: 6-boʻlimdagi “tartib aralashtirilsa ham bir xil” degan fikr bilan bogʻlab tushuntirilganmi — shunga qaraladi.

Darsda tez-tez beriladigan savollar

• “Nega LSTM sonlari 3-7 dagidan farq qiladi?”
  • 3-8 dagi 2-kod kirish uzunligi qatʼiy belgilangan model sifatida qayta tuzilgan (3-7 da uzunlik erkin). Shuning uchun boshlangʻich hisoblash grafi va tasodifiy sonlar sarfi biroz farq qiladi.
  • T = 100 natijalari: 3-7 da 48.9 / 47.2%, 3-8 da 50.6 / 57.4%. Ikkalasi ham tasodifiy taxmin darajasida degan xulosa bir xil.
• “Transformer yutgan ekan, endi LSTM ishlatilmaydimi?”
  • Bu topshiriqda toʻgʻri javob “faqat birinchi katak” boʻlgani uchun u attention uchun ayniqsa qulay.
  • Real vaqtda bittadan katak qayta ishlanganda yoki maʼlumotlar kam boʻlganda rekurrent modellar hali ham ishlatiladi (3-7, 9-boʻlim).
• “Asl maqoladagi bazaviy modelning parametrlari soni qancha?”
  • Bu sahifa bitta blokni (3,152,384 ta) formula bilan hisoblab koʻrsatadi.