3-2 Neyron tarmoq qismlari — perseptrondan teskari tarqalishgacha

1Perseptron

Perseptron — kirishlarni tarozida tortib, bitta toʻgʻri chiziq bilan ajratadi

y = pogʻona(w₁x₁ + w₂x₂ + b)Rosenblatt, 1958

Drozofilada

Meva hidi va sirka hidi birga kelganda, neyron ikki signalni har xil kuch bilan qabul qilib, qoʻshadi. Yigʻindi qoʻzgʻalish chegarasidan oshsa, "yaqinlash" signalini yuboradi. Sinaps kuchi — vazn, qoʻzgʻalish chegarasi — siljish.

Neyron tarmoqda

Har bir kirish vaznga koʻpaytirilib qoʻshiladi, ustiga siljish qoʻshiladi; hosil boʻlgan z qiymati 0 yoki undan katta boʻlsa 1, aks holda 0 chiqariladi. Tekislikda qaralsa, w₁x₁ + w₂x₂ + b = 0 degan bitta toʻgʻri chiziq "ozuqa" va "ozuqa emas"ni ajratadi. Xato nuqtaga duch kelgan har safar chiziqni oʻsha nuqta tomonga biroz siljitish — perseptronning oʻrganish qoidasi.

Masala

Yangi boshlovchilar uchun izoh

Perseptronning oʻrganish qoidasi bir qatordan iborat. Bitta xato nuqta tanlanadi: w ← w + η·(javob − bashorat)·x. Javob 1 boʻlsa-yu, 0 deb aytilgan boʻlsa, chiziq oʻsha nuqta tomon tortiladi, aksincha boʻlsa itariladi. Masala toʻgʻri chiziq bilan ajraladigan boʻlsa, faqat shu qoida bilan qachondir barcha nuqtalar toʻgʻri topiladi.

XOR kabi "ikkisidan faqat bittasi boʻlganda ozuqa" boʻladigan masalani hech qanday toʻgʻri chiziq bilan ajratib boʻlmaydi. 1969-yilda Minsky va Papert bu cheklovni matematik jihatdan koʻrsatganidan keyin neyron tarmoq tadqiqotlari bir muddat turgʻunlikka tushdi. Yechim — yana bitta qatlam qoʻshish, yaʼni yashirin qatlam. Undan oldin pogʻona oʻrniga silliq bukiladigan funksiyalarni koʻrib chiqaylik.

2Faollashtirish funksiyasi

Faollashtirish funksiyasi — signalni qanday bukish kerak

Faollashtirish funksiyasi vaznli yigʻindi z ni olib, neyronning chiqishi a ni belgilaydi. Bukilish shakli boʻlgandagina qatlamlarni ustma-ust qoʻyish maʼno kasb etadi, gradiyent (hosila) shakli esa oʻrganish tezligini belgilaydi.

Funksiya f(z)Gradiyent f′(z)Joriy kirish z

Kirish z

Gradiyent soʻnishi — nega ReLU asosiy tanlovga aylandi

Teskari tarqalish har bir qatlamdan orqaga oʻtganda faollashtirish funksiyasining gradiyentini koʻpaytiradi. Sigmoid gradiyenti eng katta boʻlganda ham 0.25 ga teng. 10 qatlam orqaga oʻtilsa, koʻpi bilan 0.25¹⁰ ≈ 0.00000095 baravargacha kichrayadi. Oldingi qatlamlarga "tuzat" degan signal deyarli yetib bormaydi. Bu gradiyent soʻnishidir.

ReLU da musbat sohadagi gradiyent aynan 1 ga teng, shuning uchun necha qatlam orqaga oʻtilsa ham signal kamaymaydi, hisoblash ham faqat "0 bilan solishtirish" boʻlgani uchun tez. Buning evaziga manfiy sohada gradiyent 0 boʻlgani sababli bir marta oʻchib qolgan neyron qayta tiklanmasligi mumkin. Leaky ReLU, ELU, Swish kabi variantlar shu boʻshliqni toʻldirishga urinishdir. Hech bir funksiya har doim eng yaxshisi emas, masala va modelga qarab tanlanadi.

3Yashirin qatlam

Yashirin qatlam — faollashtirish funksiyasi boʻlgandagina qatlamlarni ustma-ust qoʻyish maʼno kasb etadi

kirish 2 → yashirin → yashirin → chiqish 1bir xil maʼlumot, bir xil tuzilma, faqat faollashtirish funksiyasi farq qiladi

Har bir yashirin qatlamdagi neyronlar soni

chiziqli ∘ chiziqli = chiziqli

Faollashtirish funksiyasiz qatlamlar ustma-ust qoʻyilsa, W₂(W₁x) = (W₂W₁)x, yaʼni bitta vazn matritsasi bilan aynan bir xil boʻladi. Masalan, W₁ = [[1, 2], [0, 1]], W₂ = [[2, 0], [1, 1]] boʻlsa, W₂W₁ = [[2, 4], [1, 3]]. Ikki qatlamdan oʻtsa ham, shu bitta matritsadan oʻtsa ham natija bir xil. 100 qatlam qoʻyilsa ham faqat bitta toʻgʻri chiziq chiziladi.

Faollashtirish funksiyasi har bir qatlamda signalni bukib bersa, toʻgʻri chiziq boʻlaklari ustma-ust tushib, egilib, spiralga oʻxshash murakkab chegara hosil boʻladi. Yashirin neyronlar sonini 4 gacha kamaytirsangiz, bukiladigan boʻlaklar yetishmagani uchun spiralni toʻliq oʻray olmasligini ham koʻrasiz.

4Reprezentatsiyalarni oʻrganish

Reprezentatsiyalarni oʻrganish — qatlamlardan oʻtgan sari belgilar abstraktroq boʻladi

Nuqta (piksel) → yoʻnalish → birikma → shakl. Oldingi qatlam belgilarini xomashyo sifatida olib, keyingi qatlam bir pogʻona kattaroq belgi yaratadi.

Kirish shakli

Sonlarda bitta neyron

Oldingi qatlamning 4 ta belgisi (0.8, 0.1, 0.4, 0.0) vaznlar (0.5, 0.3, 0.2, 0.1) bilan tortiladi va 0.1 siljish qoʻshiladi.

z = 0.8×0.5 + 0.1×0.3 + 0.4×0.2 + 0.0×0.1 + 0.1
= 0.40 + 0.03 + 0.08 + 0.00 + 0.10 = 0.61
a = ReLU(0.61) = max(0, 0.61) = 0.61

Inson belgilagan belgilar vs oʻzi oʻrgangan belgilar

Yuqoridagi rasmdagi yoʻnalish va birikma detektorlari tushuntirish uchun inson oldindan belgilab qoʻygan qoidalardir. Avvalgi mashinali oʻrganishda belgilarni haqiqatan ham shunday inson loyihalagan. Chuqur oʻrganish esa bu detektorlarning vaznlarini maʼlumotlardan oʻzi oʻrganadi. Shu sababli inson oʻylab topmagan belgilarni ham topadi.

Tasvirda har bir qatlamda haqiqatan qanday belgilar paydo boʻlishini 3-3 (Tasvirlar va CNN) qismda koʻramiz.

5Yoʻqotish funksiyasi

Yoʻqotish funksiyasi (xarajat funksiyasi) — xato darajasini bitta son bilan ifodalash

Oʻrganish — bu yoʻqotishni kamaytirish. Nimani yoʻqotish deb belgilashga qarab model "nimadan qoʻrqishi" oʻzgaradi.

Oʻrtacha kvadratik xato (MSE)

(javob − bashorat)². Sonni topish kerak boʻlgan regressiya masalalarining asosiy tanlovi. Uy narxi, oila xarajatlari, harorat kabi uzluksiz qiymatlarni bashorat qilishda ishlatiladi. Quyidagi teskari tarqalish paneli shu yoʻqotishdan foydalanadi.

Kross-entropiya (Cross-Entropy)

−log(toʻgʻri javobga berilgan ehtimollik). Tasniflash masalalarining asosiy tanlovi. Ishonch bilan xato qilinsa, jarima cheksiz oʻsadi. Chiqishda sigmoid yoki softmax ishlatilganda ular bilan juftlik hosil qiladi.

Toʻgʻri javob

Modelning bashorat ehtimolligi p

Nega tasniflashda kross-entropiya ishlatiladi

Chiqishda sigmoid ishlatilsa, MSE gradiyenti 2(p − t)·p(1 − p) boʻladi. Javob 1 boʻlsa-yu, model p = 0.01 deb ishonch bilan xato qilsa, p(1 − p) 0 ga yaqin boʻlib, gradiyent ham deyarli 0 boʻladi. Qattiq xato qilingan, lekin "tuzat" degan signal kuchsiz. Kross-entropiya ishlatilsa, sigmoid hosilasi chiroyli qisqarib ketadi va gradiyent oddiygina p − t, yaʼni −0.99 boʻladi. Qancha koʻp xato qilinsa, shuncha qattiq tuzatiladi.

6Teskari tarqalish

Gradiyent tushish va teskari tarqalish — taxmin qilish, oʻlchash, orqaga qarab taqsimlab tuzatish

kirish 2 → yashirin 3 → chiqish 1maqsad 1.00 · yoʻqotish = (maqsad − chiqish)² · oʻrganish tezligi 0.1

01 Toʻgʻri tarqalish

Avval taxmin qiladi

Kirish bogʻlanishlar boʻylab chiqishgacha hisoblanadi. Dastlabki chiqish 0.41.

02 Yoʻqotish

Qanchalik xato ekanini oʻlchaydi

(1.00 − 0.41)² ≈ 0.35. Bu yuqoridagi 5-boʻlimdagi MSE.

03 Teskari tarqalish

Kim aybdorligini taqsimlaydi

Chiqishdan orqaga qarab har bir vazn uchun javobgarlikni (gradiyentni) hisoblaydi.

04 Yangilash

Ozgina-ozgina tuzatadi

Yangi vazn = eski − oʻrganish tezligi × gradiyent. Bu gradiyent tushishdir.

01 Toʻgʻri tarqalish→ 02 Yoʻqotish→ 03 Teskari tarqalish→ 04 Yangilash↺ yana

Vazn katakchasini bossangiz, oʻsha bogʻlanish rasmda ajratib koʻrsatiladi, quyidagi "Sonlar bilan kuzatish" esa oʻsha vaznning hisobini koʻrsatadi.

Tezlik

Oʻrganish tezligi η

Tuzatiladigan bogʻlanishlar

Sonlar bilan kuzatish — bitta vaznning bir aylanishi

Teskari tarqalish — bu "javobgarlikni koʻpaytirish orqali uzatish"

Avval chiqishdagi xato miqdori −2 × (maqsad − chiqish) aniqlanadi. Yashirin→chiqish vaznining javobgarligi shu miqdorni oʻsha vazn orqali kirgan signalga (yashirin qiymatga) koʻpaytirishdan iborat. Kirish→yashirin vaznlari uchun yana bir pogʻona orqaga boriladi. Chiqish vazni v ga koʻpaytirib javobgarlik yashirin neyronga yuboriladi, yashirin neyron qanchalik sezgir boʻlganini bildiruvchi h(1 − h) ga koʻpaytiriladi va kirgan kirish x ga koʻpaytiriladi. Mana shu "koʻpaytirib orqaga yuborish" zanjir qoidasidir. 2-boʻlimdagi gradiyent soʻnishi ham aynan shu koʻpaytirishdan kelib chiqadi.

"Faqat chiqish tomoni (drozofila usuli)"ni bossangiz, kirish→yashirin vaznlari qotiriladi va yuqoridan tushadigan oʻrgatuvchi signal (drozofiladagi dofaminga qiyoslangan) faqat chiqish tomonidagi bogʻlanishlarni tuzatadi. Bu drozofila qoʻziqorinsimon tanasining oʻrganish tuzilmasini juda soddalashtirgan oʻxshatish boʻlib, dofamin signali gradiyent kabi hisoblanadimi yoki yoʻqmi, hali tadqiq qilinmoqda.

7Optimizator

Optimizator — vodiydan tushishning uch xil qadam tashlash usuli

Yoʻqotishni relyef sifatida chizsak, oʻrganish eng past nuqtani izlab pastga tushishdir. Bir xil gradiyentni koʻrib turib, qadamni qanday tashlash optimizatorga qarab farq qiladi.

SGD: gradiyent miqdoricha bir qadamMomentum: dumalab kelgan inersiyani qoʻshadiAdam: har bir yoʻnalish uchun qadam kengligini moslaydi

Oʻrganish tezligi η

Mini-batch shovqini

SGD: w ← w − η·g
Momentum: v ← 0.9·v − η·g, w ← w + v
Adam: m ← 0.9·m + 0.1·g, s ← 0.999·s + 0.001·g², w ← w − η·m̂ / (√ŝ + ε) (m̂, ŝ — boshlangʻich ogʻishi tuzatilgan qiymatlar)

Yangi boshlovchilar uchun izoh

Bu vodiy gorizontal boʻyicha uzun, vertikal boʻyicha tik. SGD faqat gradiyent miqdoricha harakatlangani uchun tik vertikal yoʻnalishda katta qadamlar bilan yuqori-pastga sakraydi (zigzag), oʻrganish tezligi kichik boʻlsa, qiya gorizontal yoʻnalishda toshbaqa qadamida yuradi ("0.1 kichik"da tekshiring). Momentum dumalab kelgan tezlikni eslab qoladi va barqaror yoʻnalishda (gorizontal) tezlashadi, zigzaglar esa bir-birini soʻndiradi. Adam har bir yoʻnalish uchun gradiyent kattaligini alohida oʻlchab, qadam kengligini moslagani uchun gorizontal va vertikal boʻyicha taxminan bir xil tezlikda tushadi.

"Mini-batch shovqini" — haqiqiy oʻrganishdagi kabi maʼlumotlarning faqat bir qismiga qarab gradiyent hisoblanganda yuzaga keladigan tebranish. Oʻrganish tezligini "katta" qilsangiz, SGD vodiy devoridan oshib, otilib chiqib ketadi. Hech bir optimizator har doim yutavermaydi. Adam koʻp masalalarda maqbul standart tanlov boʻlgani uchun keng qoʻllaniladi, ammo bir qator chuqur oʻrganish vazifalarida yaxshi sozlangan SGD ilgari koʻrilmagan maʼlumotlarga yaxshiroq mos kelgani haqidagi tadqiqot ham bor [R12].

8Ortiqcha moslashish

Ortiqcha moslashish va regulyarizatsiya — yodlab olish va tushunish

14 ta oʻqitish nuqtasi · 80 ta validatsiya nuqtasikirish 1 → yashirin 48 (tanh) → chiqish 1, Adam

Dropout

Vaznlarning soʻnishi (L2)

Erta toʻxtatish

Uchta davo

Erta toʻxtatish: validatsiya yoʻqotishi eng past boʻlgan nuqtadagi modeldan foydalaniladi. Eng oddiy usul va deyarli har doim qoʻllaniladi.
Dropout: har bir oʻqitish qadamida yashirin neyronlarning bir qismi tasodifiy oʻchiriladi. Bu bir nechta muayyan neyronlarga tayanib nuqtalarni yodlab olishning oldini oladi. Test paytida hammasi yoqilgan holda ishlatiladi.
Vaznlarning soʻnishi (L2): vaznlar kattalashgan sari yoʻqotishga jarima qoʻshiladi. Egri chiziqning haddan tashqari ilon izi boʻlib ketishiga yoʻl qoʻymaydi.

Eng ishonchli davo — koʻproq maʼlumot toʻplash. Maʼlumot kam, model esa katta boʻlsa, yodlab olish oson. Bu rasmdagi sonlar shu sahifada bevosita hisoblangan tushuntirish uchun tajriba boʻlib, har safar ishga tushirilganda bir xil chiqishi uchun tasodifiy sonlar qotirib qoʻyilgan.

9Butun jarayon

Model yaratishning butun jarayoni — maʼlumotlardan joriy etishgacha

Hozirgacha koʻrgan qismlar faqat bitta bosqich — oʻqitishga kiradi. Haqiqiy ishda uning oldi va keyini uzunroq. Misol sifatida zavod nazorat liniyasidagi "nuqsonli mahsulotni topish" modeli olinadi.

① Yigʻish→ ② Ajratish→ ③ Oldindan ishlash→ ④ Oʻqitish→ ⑤ Baholash→ ⑥ Saqlash·joriy etish→ ⑦ Monitoring

⑤ Baholash — faqat toʻgʻrilikka qarasangiz, aldanasiz

Tekshirilgan 200 ta mahsulotdan haqiqatda nuqsonlisi 20 ta. Model har bir mahsulot uchun "nuqsonli boʻlish ehtimoli"ni chiqaradi. Qaysi qiymatdan yuqorisini nuqsonli deb topishni (chegarani) oʻzgartirib koʻring.

Nuqson chegarasi

Har bir bosqichdagi keng tarqalgan xatolar

Ajratish: test maʼlumotlari faqat oxirida bir marta ishlatiladi. Sozlamalar validatsiya maʼlumotlari bilan tanlanadi, yakuniy mahorat esa test maʼlumotlari bilan oʻlchanadi. Vaqt tartibiga ega maʼlumotlarni tasodifiy aralashtirmang: oʻtmish bilan oʻqiting, kelajak bilan baholang (3-6 da batafsil).
Oldindan ishlash: oʻrtacha qiymat va standart ogʻish kabi masshtablash (standartlashtirish) mezonlari faqat oʻqitish maʼlumotlaridan hisoblanadi. Butun maʼlumotlardan hisoblansa, test haqidagi axborot sizib kiradi (maʼlumotlar sizishi).
Baholash: nuqsonlilar atigi 10% boʻlsa, "hammasi sifatli" deyishning oʻzi bilan toʻgʻrilik 90% boʻladi. Oʻtkazib yuborish mumkin boʻlmagan tomon (toʻliqlik, recall) va yolgʻon signal narxi (aniqlik, precision) birga koʻriladi.
Joriy etish va monitoring: zavod yoritilishi oʻzgarsa yoki yangi detallar kelsa, maʼlumotlar oʻzgarib, samaradorlik pasayadi. Joriy etilgandan keyin ham samaradorlikni doimiy oʻlchab boring va kerak boʻlsa qayta oʻqiting.

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colabda oldindan oʻrnatilgan kutubxonalardan foydalanadi. “Notebook (.ipynb) yuklab olish” tugmasini bosib, Colabda Fayl → Notebookni yuklash orqali oching yoki nusxalab, yangi notebook katagiga joylashtiring.

Kod 1 · NumPy bilan oʻzingiz yaratadigan kichik neyron tarmoq3·5·6·8-boʻlimlarga bogʻliq · numpy, matplotlib · CPU taxminan 10 soniya

Toʻgʻri tarqalish → yoʻqotish → teskari tarqalish → yangilash degan toʻrt bosqich kutubxonasiz aynan koʻchirilgan. Bir xil spiral maʼlumot "faollashtirish funksiyasiz" va "tanh yashirin qatlam" bilan oʻqitilib, solishtiriladi. Oʻz maʼlumotlaringizga almashtirish uchun kod ichidagi [Oʻz maʼlumotlaringizga almashtirish uchun] belgisi bor joyda faqat X va y ni almashtiring.

Ishga tushirish natijasi (2026-10-03 da ishga tushirilgan, numpy 2.4 · CPU). Tasodifiy sonlar qotirilgani uchun bir xil natija chiqadi.

Kod 2 · Keras bilan xuddi shu neyron tarmoq + ortiqcha moslashishning oldini olish2·3·7·8·9-boʻlimlarga bogʻliq · tensorflow(Keras) · CPU taxminan 1–2 daqiqa

Amaliyotda qoʻllaniladigan usul. Faollashtirish funksiyasiz / ReLU / ReLU + dropout + erta toʻxtatish degan uchta model solishtiriladi va oxirgi model faylga saqlanadi (9-boʻlimdagi ⑥ Saqlash).

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash” tugmasi bosilganda prompt ortidan tanlangan kod ham qoʻshiladi. 〔〕 ichidagini oʻz vaziyatingizga moslab yozsangiz boʻladi.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki maqola uchun AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish faktini va koʻlamini maʼlum qiling.

Atamalar lugʻati

Bu matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Oʻxshatish tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Drozofila va miya oʻxshatishlariga kuch darajasi belgilangan. Bevosita haqiqatan ham bir xil ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas

Tushuncha	Kundalik hayotdan oʻxshatish	Drozofila va miya oʻxshatishi	Oʻxshatish xato boʻladigan joy
Vazn	Har bir fikrga har xil beriladigan ishonch darajasi	Qisman sinaps kuchi	Haqiqiy sinapsning kuchi vaqt va organizm holatiga qarab oʻzgaradi, signal ham uzluksiz son emas, balki elektr impulslari (spayklar)dir
Siljish · chegara	Qaror qabul qilish mezoni	Qisman neyronning qoʻzgʻalish chegarasi	Neyron chegarasi qatʼiy qiymat emas, charchash va moslashish tufayli doimo oʻzgarib turadi
Faollashtirish funksiyasi	Qancha burasangiz ham chegarasi bor ovoz murvati	Qisman stimul kuchiga qarab qoʻzgʻalish chastotasi egri chizigʻi	Neyron tarmoq bitta son chiqaradi, neyron esa vaqt oʻtishi bilan impulslar chiqaradi
Yashirin qatlam	Hisobotlarni yigʻib tartibga soladigan oʻrta boʻgʻin rahbari	Qisman qoʻziqorinsimon tanadagi Kenyon hujayralari	Qoʻziqorinsimon tananing kirish tomonidagi bogʻlanishlar asosan oʻrganish bilan oʻzgarmaydi. Chuqur oʻrganishdagi yashirin qatlam esa barcha bogʻlanishlarni oʻrganadi
Yoʻqotish funksiyasi	Imtihon baholash varaqasi	Qisman shakar (mukofot) va elektr toki zarbasi (jazo) degan natija	Drozofila "qanchalik xato qilganini" bitta son bilan hisoblamaydi
Teskari tarqalish	Hodisadan keyin javobgarlikni orqaga qarab surishtirish	Yoʻq dofamin signali qatlamlar boʻylab orqaga hisoblanmaydi	Miya teskari tarqalishga oʻxshash ishni boshqa usulda bajaradimi, bu hali tadqiq qilinmoqda
Oʻrganish tezligi	Bir marta tanbeh olganda tuzatish koʻlami	Qisman bir martalik tajriba bilan oʻzgaradigan sinaps miqdori	Miyadagi oʻzgarish koʻlami vaziyat, diqqat va takrorlashga qarab farq qiladi
Optimizator	Tuman qoplagan togʻdan tushayotgan alpinistning yurishi	Yoʻq	Haqiqiy yoʻqotish relyefi millionlab oʻlchamli boʻlgani uchun rasmdagidek bir qarashda koʻrinmaydi
Ortiqcha moslashish	Oʻtgan yillar imtihon savollarining javoblarinigina yodlagan abituriyent	Yoʻq	Inson ham yodlaydi, lekin insonning umumlashtirish usuli neyron tarmoqnikidan farq qiladi
Dropout	Bir necha kishi boʻlmasa ham ishlay oladigan jamoa	Yoʻq sinaptik uzatish vaqti-vaqti bilan muvaffaqiyatsiz boʻlishiga oʻxshaydi degan talqin bor, ammo dalillari zaif	Test paytida barcha neyronlar yoqilgan holda ishlatiladi. Jamoa aʼzolari doim yoʻq boʻlavermaydi

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasmlar uchun manbalar

E-1 Muallif haqida

Sangsun Ahn (M-Robo MChJ rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaperning tashqi venchur kompaniyasi M-Robo MChJni tashkil etib, uning rahbari lavozimida ishlamoqda. M-Robo MChJ ommaviy axborot vositasi ichidagi venchur loyiha sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, Koreya internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radiochastota agentligi va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining A.I yangiliklar gazetasi Money-Roboni yuritmoqda. Rahbarlik davrida Osiyo ochiq maʼlumotlar xakatonida gʻolib boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patentning ixtirochisi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi, Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim institutida fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Eng yuqori ilmiy darajasi — iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil

Maʼruzalar

Sangsun Ahn (2025). «Biznes uchun maʼlumotlar fani» maʼruzalar matni. Koreya ochiq kiberuniversiteti, sunʼiy intellekt integratsiyasi kafedrasi.
Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.
Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.

STEP maʼruzalariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli ochilishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va maʼruzalar

Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. «Kelajak jamiyati», 16(2). Asl matn
Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Milliy keksalik taʼminoti paneli ilmiy konferensiyasi maʼruza materiallari (2025.05.13), Milliy pensiya xizmati, Milliy pensiya tadqiqot instituti. Maʼruza materiallari
Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Kelajak jamiyati», 16(1). Asl matn
Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan raqib maʼlumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Kelajak jamiyati», 15(3). Asl matn
Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster maʼruzasi (2024.06.19), Seul media oliy maktabi universiteti.
Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻrganish modeli. 10-ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli ilmiy konferensiyasi poster maʼruzasi (2024.05.17), Koreya mehnat farovonligi korporatsiyasi, Mehnat farovonligi tadqiqot instituti.
Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. «Kelajak jamiyati», 15(1). Asl matn

E-2 Ilmiy manbalar

[R1] Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408. doi:10.1037/h0042519 — 1-boʻlim
[R2] Minsky, M. L., & Papert, S. (1969). Perceptrons. MIT Press. — 1-boʻlim (XOR cheklovi)
[R3] Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. doi:10.1038/323533a0 — 4·6-boʻlimlar
[R4] Nair, V., & Hinton, G. E. (2010). Rectified linear units improve restricted Boltzmann machines. Proceedings of ICML 2010, 807–814. — 2-boʻlim (ReLU)
[R5] Maas, A. L., Hannun, A. Y., & Ng, A. Y. (2013). Rectifier nonlinearities improve neural network acoustic models. ICML 2013 Workshop on Deep Learning for Audio, Speech and Language Processing. — 2-boʻlim (Leaky ReLU)
[R6] He, K., Zhang, X., Ren, S., & Sun, J. (2015). Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification. Proceedings of ICCV 2015, 1026–1034. doi:10.1109/ICCV.2015.123 — 2-boʻlim (PReLU)
[R7] Clevert, D.-A., Unterthiner, T., & Hochreiter, S. (2016). Fast and accurate deep network learning by exponential linear units (ELUs). ICLR 2016. arXiv:1511.07289 — 2-boʻlim (ELU)
[R8] Klambauer, G., Unterthiner, T., Mayr, A., & Hochreiter, S. (2017). Self-normalizing neural networks. Advances in Neural Information Processing Systems 30. arXiv:1706.02515 — 2-boʻlim (SELU)
[R9] Ramachandran, P., Zoph, B., & Le, Q. V. (2017). Searching for activation functions. arXiv:1710.05941 — 2-boʻlim (Swish)
[R10] Misra, D. (2020). Mish: A self regularized non-monotonic activation function. BMVC 2020. arXiv:1908.08681 — 2-boʻlim (Mish)
[R11] Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. ICLR 2015. arXiv:1412.6980 — 7-boʻlim
[R12] Wilson, A. C., Roelofs, R., Stern, M., Srebro, N., & Recht, B. (2017). The marginal value of adaptive gradient methods in machine learning. Advances in Neural Information Processing Systems 30. arXiv:1705.08292 — 7-boʻlim (Adam va SGD ning umumlashtirish qobiliyatini solishtirish)
[R13] Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15(56), 1929–1958. jmlr.org — 8-boʻlim
[R14] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. doi:10.1038/nature14539 — 3·4-boʻlimlar
[R15] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. deeplearningbook.org — 5·7·8·9-boʻlimlar (yoʻqotish funksiyasi, optimallashtirish, regulyarizatsiya, erta toʻxtatish)

E-3 Rasmlar uchun manbalar

Quyidagi materiallar tuzilma va mazmun uchun manba sifatida olindi.

DataCraft Hub, "Activation Functions — Adding Nonlinearity to Neural Networks" (Series 01 · 05) infografikasi — 2·3-boʻlimlar
DataCraft Hub, "Representation Learning — How Neural Networks Learn Useful Representations" (Series 01 · 06) infografikasi — 4-boʻlim
mltut, "Activation Functions" infografikasi — 2-boʻlim. Hard Sigmoid rasmdagi taʼrifga (0.2x + 0.5) amal qiladi
mltut, "A Quick Guide to Neural Networks" infografikasi — 1·3-boʻlimlar
"How AI Learns? From Data to Intelligence" infografikasi (muallif koʻrsatilmagan) — 9-boʻlim
"How a neural network actually learns" taʼlimiy animatsiyasi (21 soniya, muallif koʻrsatilmagan) — 6-boʻlimdagi boshlangʻich qiymatlar

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyidagi OJT masʼullari va tyutorlar uchun mashgʻulot yoʻriqnomasi. Vaqtlar taxminiy, shuning uchun haqiqiy darsga moslab oʻzgartiring.

Auditoriya	Neyron tarmoqlarni ilk bor oʻrganayotgan talabalar va xodimlar. Python asoslarini bilsangiz Colab amaliyotigacha, bilmasangiz matndagi animatsiyalargacha
Talab qilinadigan bilimlar	Koʻpaytirish va qoʻshish, funksiya grafiklarini oʻqish. Hosila haqida "gradiyent = biroz oʻzgartirilganda qanchalik oʻzgaradi" darajasidagi tushuncha yetarli
Oʻquv maqsadlari	① Perseptron, faollashtirish funksiyasi va yashirin qatlam har biri nima qilishini tushuntiradi ② Toʻgʻri tarqalish → yoʻqotish → teskari tarqalish → yangilashni sonlar bilan kuzatib boradi ③ Ortiqcha moslashishni aniqlaydi va unga validatsiya maʼlumotlari, erta toʻxtatish, dropout bilan qarshi choralar koʻradi
Taxminiy vaqt	Oʻqish 40–50 daqiqa · animatsiya namoyishi 25 daqiqa · Colab amaliyoti 30 daqiqa (kod 1 — 10 daqiqa, kod 2 — 20 daqiqa)

Uch xil mashgʻulot rejasi

Maʼruza shakli, 50 daqiqa

Tushunchalarga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlim: XOR muvaffaqiyatsizligi namoyishi) → 2·3-boʻlimlar namoyishi 15 daqiqa → 5·6-boʻlimlar paneli 15 daqiqa → 8-boʻlim, ortiqcha moslashish 10 daqiqa → tekshiruv savollari 5 daqiqa.

Ish joyidagi OJT, 90 daqiqa

Ishga tatbiq etishga yoʻnaltirilgan

6-boʻlim paneli 15 daqiqa → 8·9-boʻlimlar 25 daqiqa (toʻgʻrilik tuzogʻini ish misollarida muhokama qilish) → kod 2 amaliyoti 30 daqiqa → prompt kartasi bilan "jamoamiz maʼlumotlariga qoʻllash" 20 daqiqa.

1:1 tyutorlik

Darajaga qarab suʼrat

Boshlovchilar uchun faqat 1·2·3·6-boʻlimlar; oʻrta darajadagilarga esa 6-boʻlimdagi "Sonlar bilan kuzatish"ni bir marta qoʻlda hisoblatib, soʻng kod 1 dagi teskari tarqalish qismi bilan solishtirtiring.

Boʻlimlar boʻyicha asosiy jihatlar

Boʻlim	Toʻxtab beriladigan savol	Boshqaruv boʻyicha maslahat
1 Perseptron	"XOR da toʻgʻri chiziqni qancha siljitsak ham nega xato nuqtalar qoladi?"	Avval oson masalani oʻrgatib, muvaffaqiyatni koʻrsating, soʻng XOR ga oʻting
2 Faollashtirish funksiyasi	"Sigmoid gradiyentining maksimal qiymati qayerda va qancha?"	Sigmoidda toʻxtatib, slayderni 0 ga surib, 0.25 ni tasdiqlang
3 Yashirin qatlam	"Ikki qatlam qoʻydik, nega chapdagisi hamon toʻgʻri chiziq?"	Neyronlar sonini 4 ga kamaytirib, oʻngdagisi ham muvaffaqiyatsiz boʻlishini koʻrsating
4 Reprezentatsiyalarni oʻrganish	"□ nega 4 ta burchak orqali aniqlanadi? Inson boʻlsa nimaga qaraydi?"	T va L ni navbatma-navbat bosib, faqat birikma qatlami oʻzgarishini taʼkidlang
5 Yoʻqotish funksiyasi	"Ishonch bilan xato qilinganda qaysi yoʻqotish qattiqroq tuzatishni talab qiladi?"	p ni 0.01 ga qoʻyib, ikki gradiyent qiymatini solishtiring
6 Teskari tarqalish	"Chiqishga yaqin vazn va uzoq vazndan qaysi birining gradiyenti kattaroq?"	"Keyingi qadam" bilan bir aylanishni sekin oʻtkazib, soʻng vazn katakchalarini almashtirib formulalarni oʻqing
7 Optimizator	"SGD nega zigzag boʻlib yuradi?"	Oʻrganish tezligini "katta"ga oʻzgartirib, SGD otilib chiqib ketadigan holatni koʻrsating
8 Ortiqcha moslashish	"Oʻqitish yoʻqotishi kamayib borsa, model yaxshimi?"	Barcha regulyarizatsiyani oʻchirib, oxirigacha ishga tushiring, soʻng bittadan yoqib solishtiring
9 Butun jarayon	"Nuqsonli mahsulot tekshiruvida oʻtkazib yuborish yoki yolgʻon signal — qaysi biri qimmatroq?"	Chegarani 0.2 va 0.8 ga surib, aniqlik va toʻliqlik qarama-qarshi tomonga harakatlanishini koʻring

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushuncha	Toʻgʻri tushuntirish	Koʻrsatiladigan sahna
Qatlamlar koʻp qoʻyilsa, model albatta aqlliroq boʻladi	Faollashtirish funksiyasi boʻlmasa, necha qatlam boʻlmasin bitta toʻgʻri chiziq bilan bir xil. Boʻlsa ham, maʼlumot kam boʻlsa ortiqcha moslashadi	3-boʻlimdagi chap rasm, 8-boʻlim
Neyron tarmoq miyadan aynan nusxa olingan	Faqat qatlam, bogʻlanish kuchi va chegara degan skelet olingan. Teskari tarqalish miyada tasdiqlanmagan	Umumiy D boʻlimdagi "Yoʻq" belgisi
Oʻqitish yoʻqotishi past boʻlsa, model yaxshi	Mezon — ilgari koʻrilmagan maʼlumotlardagi (validatsiya, test) samaradorlik	8-boʻlimdagi oʻng grafik
Toʻgʻrilik yuqori boʻlsa, model yaxshi	Nomutanosib maʼlumotlarda "hammasi sifatli" javobi ham yuqori toʻgʻrilik beradi. Aniqlik va toʻliqlikni birga koʻring	9-boʻlim, chegara 0.95
Adam har doim eng yaxshisi	U shunchaki maqbul standart tanlov. Masalaga qarab SGD + momentum yaxshiroq boʻlishi ham mumkin	7-boʻlim, oʻrganish tezligi "kichik"

Tekshiruv savollari (izohni ochish uchun bosing)

Q1. Faollashtirish funksiyasiz neyron tarmoqqa 10 ta yashirin qatlam qoʻyilsa, qanday chegara chizish mumkin?

Faqat bitta toʻgʻri chiziq (koʻp oʻlchamda tekislik). Chunki bir nechta chiziqli almashtirishni birlashtirsangiz ham, bitta chiziqli almashtirish hosil boʻladi (W₂W₁x = Wx). 3-boʻlimdagi chap rasm bunga misol.

Q2. Sigmoid oʻrniga ReLU ishlatilsa, gradiyent soʻnishi nega kamayadi?

Sigmoid gradiyenti eng koʻpi bilan 0.25 boʻlgani uchun har bir qatlamda koʻpaytirilib, tez kichrayadi. ReLU ning musbat sohadagi gradiyenti 1 boʻlgani uchun orqaga borilganda ham kamaymaydi. Biroq manfiy sohada 0 boʻlgani uchun oʻchib qolgan neyronlar paydo boʻlishi mumkin.

Q3. Toʻgʻri javob 1, bashorat 0.41 boʻlganda MSE yoʻqotishi va ∂L/∂y qancha?

L = (1 − 0.41)² = 0.3481 ≈ 0.35. ∂L/∂y = −2 × (1 − 0.41) = −1.18. Bu 6-boʻlim panelidagi birinchi aylanish qiymatlari bilan bir xil.

Q4. Oʻqitish yoʻqotishi kamayib boraveradi, validatsiya yoʻqotishi esa maʼlum bir paytdan boshlab oʻsadi. Bu qanday holat va nima qilish kerak?

Ortiqcha moslashish. Validatsiya yoʻqotishi eng past boʻlgan paytdagi modeldan foydalaniladi (erta toʻxtatish), dropout va vaznlarning soʻnishi yoqiladi yoki maʼlumotlar koʻpaytiriladi.

Q5. Nuqsonlilar ulushi 10% boʻlgan tekshiruvda "hammasi sifatli" deb javob beradigan modelning toʻgʻriligi va toʻliqligi qancha?

Toʻgʻrilik 90%, toʻliqlik 0%. Birorta ham nuqsonli mahsulot topilmadi. Shuning uchun nomutanosib maʼlumotlarda faqat toʻgʻrilikka qarash yetarli emas.

Colab topshiriqlari

Asosiy

Kod 1 da tanh ni ReLU ga almashtiring (faollashtirish funksiyasi va uning hosilasi — ikki qator). Yashirin neyronlar sonini 4, 16, 64 ga oʻzgartirib, validatsiya toʻgʻriligini jadvalga yozing va eng yaxshi sozlama hamda uning sababini uch gapda bayon qiling.

Murakkab

Kod 2 dagi maʼlumotlarni oʻz ish maʼlumotlaringizga (kamida 2 ta belgi, javob 0/1) almashtiring. Oʻqitish/validatsiya/testni 6:2:2 nisbatda ajrating va test maʼlumotlaridagi toʻgʻrilik, aniqlik va toʻliqlik haqida hisobot bering. 0.5 chegarasi ishingizga mos keladimi, asoslab baholang.

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Yangi boshlovchilar	4·7-boʻlimlarni oʻtkazib yuborsangiz ham izchillik buzilmaydi. 6-boʻlimda "Keyingi qadam" tugmasi bilan faqat bir aylanishni birga koʻring
Chuqurlashtirilgan	6-boʻlimdagi "Sonlar bilan kuzatish"ni qoʻlda hisoblatib, soʻng kod 1 dagi d1·d2·d3 qatorlari bilan birma-bir moslashtiring. 7-boʻlimga oʻrganish tezligini kamaytirish (jadval) qoʻshilsa nima boʻlishini muhokama qiling
Qoʻshimcha oʻrganish	Sangsun Ahn, «Biznes uchun maʼlumotlar fani» maʼruzalar matni (maʼlumotlar fani boʻyicha umumiy) · STEP [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash (3-5 va 3-8 qismlarga bogʻliq) · STEP [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari (3-6 qismga bogʻliq)
Oʻqituvchilar uchun materiallar	Tekshiruv savollarining baholash mezonlari va topshiriqlarning namunaviy javoblarini Oʻqituvchilar uchun javoblar sahifasi (3-2)da koʻrish mumkin

Perseptron — kirishlarni tarozida tortib, bitta toʻgʻri chiziq bilan ajratadi

Yangi boshlovchilar uchun izoh

Faollashtirish funksiyasi — signalni qanday bukish kerak

Gradiyent soʻnishi — nega ReLU asosiy tanlovga aylandi

Yashirin qatlam — faollashtirish funksiyasi boʻlgandagina qatlamlarni ustma-ust qoʻyish maʼno kasb etadi

chiziqli ∘ chiziqli = chiziqli

Reprezentatsiyalarni oʻrganish — qatlamlardan oʻtgan sari belgilar abstraktroq boʻladi

Sonlarda bitta neyron

Inson belgilagan belgilar vs oʻzi oʻrgangan belgilar

Yoʻqotish funksiyasi (xarajat funksiyasi) — xato darajasini bitta son bilan ifodalash

Nega tasniflashda kross-entropiya ishlatiladi

Gradiyent tushish va teskari tarqalish — taxmin qilish, oʻlchash, orqaga qarab taqsimlab tuzatish

Avval taxmin qiladi

Qanchalik xato ekanini oʻlchaydi

Kim aybdorligini taqsimlaydi

Ozgina-ozgina tuzatadi

Sonlar bilan kuzatish — bitta vaznning bir aylanishi

Teskari tarqalish — bu "javobgarlikni koʻpaytirish orqali uzatish"

Optimizator — vodiydan tushishning uch xil qadam tashlash usuli

Yangi boshlovchilar uchun izoh

Ortiqcha moslashish va regulyarizatsiya — yodlab olish va tushunish

Uchta davo

Model yaratishning butun jarayoni — maʼlumotlardan joriy etishgacha

⑤ Baholash — faqat toʻgʻrilikka qarasangiz, aldanasiz

Har bir bosqichdagi keng tarqalgan xatolar

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

Atamalar lugʻati

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Muallif haqida va manbalar

E-1 Muallif haqida

Maʼruzalar

Maqolalar va maʼruzalar

E-2 Ilmiy manbalar

E-3 Rasmlar uchun manbalar

Oʻqituvchilar uchun maslahatlar

Uch xil mashgʻulot rejasi

Tushunchalarga yoʻnaltirilgan

Ishga tatbiq etishga yoʻnaltirilgan

Darajaga qarab suʼrat

Boʻlimlar boʻyicha asosiy jihatlar

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Tekshiruv savollari (izohni ochish uchun bosing)

Colab topshiriqlari

Asosiy

Murakkab

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Barakalla!