Chuqur oʻrganish: A dan Z gacha · 3-3

Tasvirlar va CNN — sonlar panjarasidan ehtimollikkacha

Kompyuter uchun rasm — sonlar zich joylashgan panjara. Inson belgilagan belgilar ham, piksellarni bir qatorga tizib chiqadigan neyron tarmoq (MLP) ham bu panjara oldida osongina chalgʻiydi. Kichik bitta filtrni panjara ustida siljitib oʻtadigan konvolyutsion neyron tarmoq (CNN) nimani hal qildi va nimani hali hal qila olmadi — har bir sonni oʻzimiz hisoblab, bosqichma-bosqich kuzatamiz.

Muallif: Sangsun Ahn (M-Robo MChJ rahbari) · Muallif haqida

1980Neokognitron eʼlon qilindi [R2]
1998LeNet va qoʻlyozma raqamlarni tanish [R3]
15.3%2012-yil ImageNet tanlovida gʻolib boʻlgan CNN ning top-5 xatosi (2-oʻrin 26.2%) [R4]
9 tabitta 3×3 filtrdagi vaznlar
2,371 : 527bu sahifadagi MLP va CNN parametrlari soni
2 taColabda darhol ishga tushiriladigan kod
1Sonlar panjarasi

Rasm — sonlar panjarasi

Ekrandagi rasmni juda katta qilib kattalashtirsak, kichik kvadratchalar (piksellar) koʻrinadi. Bitta piksel — yorugʻlikni bildiruvchi bitta son, rangli boʻlsa qizil·yashil·koʻk degan uchta son.

Rasm
Koʻrinish

Yangi boshlovchilar uchun izoh

Sonlar panjarasi odatda 0 (qora) dan 255 (oq) gacha boʻlgan butun sonlar bilan saqlanadi. Neyron tarmoqqa berishda koʻpincha 255 ga boʻlib, 0~1 oraligʻiga oʻtkaziladi. Bu sahifadagi hisoblar ham 0~1 dan foydalanadi. Telefondagi bitta rasm (masalan, 4000×3000 rangli) 36 million sondan iborat. Sonlar panjarasi shunchalik katta ekani keyingi boʻlimlarning boshlangʻich nuqtasidir.

2Anʼanaviy mashinaviy oʻrganish

Anʼanaviy mashinaviy oʻrganish — inson belgilagan belgilar faqat kutilgan oʻzgarishlarga bardosh beradi

Uch xil shaklni (+, ×, ○) farqlash kerak. Inson ikkita ishorani belgiladi: “oʻrtasi boʻyalganmi”, “gorizontal·vertikal chiziqlar diagonal chiziqlardan toʻqroqmi”. Mashina faqat shu ikki songa beriladigan vaznlarni oʻrganadi.

Test sharti

Xoʻsh, odamlar nima qildi?

Bu misoldagi belgilar ataylab sodda qilingan. Haqiqiy tadqiqotchilar uzoq yillar davomida qirralar yoʻnalishini sohalar boʻyicha sanash kabi ancha murakkab belgilarni ishlab chiqdilar. Shunga qaramay, rasmdagi narsalarning joylashuvi·oʻlchami·yoritilishi·burchagi cheksiz oʻzgargani uchun inson barcha oʻzgarishlarni oldindan oʻylab, belgilarga kiritishi qiyin edi. 2012-yilda 1000 turdagi rasmlarni tasniflaydigan ImageNet tanlovida belgilarni ham oʻzi oʻrganadigan CNN top-5 xatosi 15.3% bilan 2-oʻrindan (26.2%) ancha oʻzib ketgach, yoʻnalish oʻzgardi [R4].

3MLP cheklovlari

MLP rasmda qoqiladigan toʻrtta sabab

3-2 dagi MLP (koʻp qatlamli perseptron) ga rasm berish uchun panjarani bir qatorga yoyish kerak. Yoyilgan zahoti paydo boʻladigan muammolarni birma-bir koʻrib chiqamiz.

Rasm oʻlchami (② da)
4CNN yechimi

CNN ning toʻrtta yechimi — kichik filtrni siljitib oʻtkazish

Mahalliy bogʻlanish · vaznlarni ulashish · pooling · qatlamlarni ustma-ust qoʻyishFukushima 1980 → LeCun 1998

MLP muammosiCNN yechimiQay darajada hal qilindi
① Qoʻshnichilik munosabati yoʻqoladiMahalliy bogʻlanish: bitta neyron faqat 3×3 kabi qoʻshni boʻlakni koʻradiQoʻshni piksellarni birga koʻrish tuzilmaning oʻziga joylangan
② Vaznlar portlashiVaznlarni ulashish: bir xil filtr barcha joylarda ishlatiladiFiltrlar soni × 9 ta yetarli. Rasm oʻlchamiga bogʻliq emas
③ Joylashuv oʻzgarishiVaznlarni ulashish + pooling: qayerda boʻlmasin bir xil filtr topadi, pooling esa kichik siljishni yutib yuboradiNisbatan kamroq chalgʻiydi. Mukammal emas. Koʻp siljitilsa, aniqlik pasayadi (8-boʻlim) [R6]
④ Piksellar tartibi eʼtiborsiz qoladiQatlamlarni ustma-ust qoʻyish: yaqin piksellarni guruhlab, tobora kengroq shakllarni hosil qiladiBuning evaziga “yaqin piksellar oʻzaro bogʻliq” degan farazga tayanadi. Piksellar aralashtirilsa, samaradorlik pasayadi (8-boʻlim)

Drozofila va miya bilan bogʻliqlik

Hubel va Wiesel mushukning koʻrish poʻstlogʻida tor sohadagi muayyan yoʻnalishdagi tayoqchaga javob beradigan “oddiy hujayralar”ni va yoʻnalish bir xil boʻlsa, joylashuv biroz farq qilsa ham javob beradigan “murakkab hujayralar”ni ajratdilar [R1]. Fukushima neokognitroni shu ikki hujayraga taqlid qilib, “belgi topish qatlami” va “joylashuvni xiralashtirish qatlami”ni navbatma-navbat ustma-ust qoʻydi [R2]. Bugungi CNN ning konvolyutsiya va pooling qatlamlari ularning avlodlaridir. Biroq neokognitron teskari tarqalish emas, boshqa usul bilan oʻrgangan; teskari tarqalish bilan oʻrganadigan CNN ni qoʻlyozmani tanishda muvaffaqiyatli qoʻllaganlar esa LeCun va hamkasblaridir [R3].

5Konvolyutsiya

Konvolyutsiya hisobi — kataklarni oʻzaro koʻpaytirib, hammasini qoʻshamiz

Chiqish = Σ (kirish boʻlagi × filtr)6×6 kirish · 3×3 filtr → 4×4 chiqish

Filtr

Yangi boshlovchilar uchun izoh

Filtr oynasini kirishning bir joyiga ustma-ust qoʻyamiz. Ustma-ust tushgan 9 ta katakni oʻzaro koʻpaytirib, hammasini qoʻshgan qiymat chiqishning bitta katagi boʻladi. Oynani bir katakdan siljitib, takrorlaymiz. 6×6 kirishda 3×3 oyna gorizontal boʻyicha 4 ta, vertikal boʻyicha 4 ta joyga qoʻyilishi mumkin, shuning uchun chiqish 4×4 boʻladi (chetlarni 0 bilan toʻldiradigan padding qilinmaganda).

Vertikal qirra filtrining chap ustunida +1, oʻng ustunida −1 bor. Shuning uchun “chapi yorugʻ, oʻngi qorongʻi” joyda musbat, aksincha boʻlsa manfiy, bir tekis boʻlsa 0 ga yaqin qiymat chiqadi. Neyron tarmoq bunday filtr sonlarini inson belgilamasdan, teskari tarqalish orqali oʻrganadi. Qoʻshimcha qilib aytsak, chuqur oʻrganishdagi “konvolyutsiya” matematikadagi konvolyutsiyadan farqli ravishda filtrni agʻdarmaydi (oʻzaro korrelyatsiya). Sonlar oʻqitish orqali aniqlangani uchun natija bir xil boʻladi [R8].

6ReLU·pooling

ReLU va pooling — manfiylarni oʻchiramiz, toʻrttadan bittasini qoldiramiz

5-boʻlimdagi 4×4 chiqishni ReLU (manfiy → 0) dan oʻtkazgach, har bir 2×2 oynadan faqat bitta son qoldiramiz (maksimum yoki oʻrtacha). Rasm bir katak siljitilganda nima oʻzgarishini ham koʻramiz.

Pooling
Filtr
Kirish

Pooling nima qiladi va uning cheklovlari

Pooling sonlarni 4 baravar kamaytirib, keyingi qatlam hisobini yengillashtiradi va 2×2 oyna ichidagi kichik siljishni yutib yuboradi. Oyna chegarasidan oʻtadigan siljish yoki 2 katak va undan ortiq siljish natijani toʻgʻridan-toʻgʻri oʻzgartiradi. Shuning uchun “CNN joylashuv oʻzgarishiga chidamli” deyishdan koʻra “nisbatan kamroq chalgʻiydi” deyish aniqroq. Haqiqatan ham, mashhur katta CNN lar ham rasm bor-yoʻgʻi bir necha pikselga siljitilsa, javobini oʻzgartirishi mumkinligi haqida tadqiqot bor [R6].

7Ehtimollikkacha

Yoyish → ehtimollik — belgilar xaritasi javobga aylanguncha

Oxirgi belgilar xaritalarini bir qator songa aylantirib, toʻliq bogʻlangan qatlam va softmax orqali “+ boʻlish ehtimoli, × boʻlish ehtimoli, ○ boʻlish ehtimoli”ni chiqaramiz. 8-boʻlimdagi CNN ni oldindan oʻqitib, shundayicha ishlatamiz.

Kirish
Bir qatorga aylantirish usuli

Yangi boshlovchilar uchun izoh

LeNet kabi klassik CNN lar oxirgi xaritalarni shundayicha ketma-ket ulab (yoyish, Flatten), toʻliq bogʻlangan qatlamga berardi [R3]. Bu usul “belgi xaritaning qaysi katagida edi” degan maʼlumotni ham uzatgani uchun yana joylashuvga sezgir boʻlib qoladi. Har bir xaritadan faqat bitta son (maksimum yoki oʻrtacha) qoldiradigan global pooling joylashuv maʼlumotini oʻchirib, siljishdan kamroq chalgʻiydi va parametrlari ham kam boʻladi [R5]. Bu sahifadagi CNN global maksimal poolingdan foydalanadi.

Softmax 3 ta ballni yigʻindisi 1 ga teng boʻlgan 3 ta ehtimollikka aylantiradi. Ball qancha katta boʻlsa, ehtimollik ham shuncha katta. Ehtimollik yuqori boʻlishi har doim toʻgʻri degani emas. Oʻqitishda koʻrmagan koʻrinishda notoʻgʻri javobga ham yuqori ehtimollik berishi mumkin (3-1, 4-boʻlim).

8Taqqoslash paneli

MLP va CNN — bir xil maʼlumotda bevosita bellashuv

12×12 oʻlchamli 3 xil shaklning 120 ta rasmida (har biridan 40 ta) oʻqitamiz. Oʻqitish rasmlarining barchasi oʻrtada (±0.5 katak) joylashgan va ularga shovqin·xalaqit chiziqlari·burilish·qalinlik oʻzgarishi qoʻshilgan. Test uchun har biri ilgari koʻrilmagan 150 tadan rasm olinadi.

Tajriba

Tajriba shartlari (aniq)

  1. Modellar: MLP = 144 piksel → 16 yashirin (ReLU) → 3. CNN = 6 ta 3×3 konvolyutsiya (ReLU) → 2×2 maksimal pooling → 8 ta 3×3 konvolyutsiya (ReLU) → global maksimal pooling → 3. Ikkalasi ham bir xil oʻqitish maʼlumotlarida stoxastik gradiyent tushish (oʻqitish tezligi 0.02, bittadan rasm) bilan 30 epoxa oʻqitiladi. Tasodifiy sonlar seed bilan qotirilgan.
  2. Joylashuvni siljitish: oʻqitishda faqat oʻrtadagi rasmlar ishlatiladi, faqat test rasmlari yuqori, past, chap yoki oʻngga 1~3 katak siljitiladi. Siljitilgan rasmlar bilan oʻqitish (maʼlumotlarni kengaytirish, data augmentation) qilinmagan.
  3. Piksellarni aralashtirish: 144 ta katak tartibini oʻzgartiradigan bitta qoida belgilanib, oʻqitish va test rasmlarining barchasiga bir xilda qoʻllaniladi va ikkala model boshidan qayta oʻqitiladi. Bu allaqachon oʻqitilgan modelga aralashtirilgan rasm berish tajribasi emas.
  4. Sonlar doirasi: bu panel bitta seed natijasidir. Colab kodi 2 Keras yordamida 3 ta seed natijasini oʻrtachalab xuddi shu tajribani bajaradi; sonlar biroz farq qiladi, lekin tendensiya bir xil (A boʻlim).

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colabda oldindan oʻrnatilgan kutubxonalardan foydalanadi. “Notebook (.ipynb) yuklab olish” tugmasini bosib, Colabda Fayl → Notebookni yuklash orqali oching yoki nusxalab, yangi notebook katagiga joylashtiring.

Kod 1 · Konvolyutsiya·ReLU·poolingni NumPy bilan qoʻlda hisoblash5·6-boʻlimlar bilan bogʻliq · numpy, matplotlib · CPU da 1 soniyadan kam

5·6-boʻlimlardagi bilan bir xil 6×6 “7” raqami va bir xil 4 ta filtr bilan konvolyutsiya → ReLU → maksimal·oʻrtacha poolingni hisoblaydi. Chiqish sonlari sahifadagi sonlar bilan katagigacha mos keladi. Oʻz maʼlumotingizga almashtirish uchun koddagi [Oʻz maʼlumotingizga almashtirish uchun] belgisi turgan joyda faqat IMG ni almashtiring.

Bajarilish natijasi (2026-10-03 da bajarilgan, numpy 2.4 · matplotlib 3.10 · CPU). Hisobda tasodifiy sonlar yoʻqligi sababli, qachon ishga tushirilsa ham natija bir xil.
Kod 2 · Keras bilan MLP va CNN — joylashuvni siljitish va piksellarni aralashtirish3·8-boʻlimlar bilan bogʻliq · tensorflow (Keras), numpy, matplotlib · CPU da taxminan 1~2 daqiqa

8-boʻlimdagi bilan bir xil model tuzilishi va bir xil shakl qoidalari asosida tajribani amaliy kutubxonada qayta oʻtkazamiz. Optimizator Adam (40 epoxa) ga almashtirildi, 3 ta seed bilan takrorlanib, oʻrtacha qiymat olinadi. Piksellarni aralashtirishda bir xil qoida bilan aralashtirilgan maʼlumotlarda boshidan qayta oʻqitiladi.

Bajarilish natijasi (2026-10-03 da bajarilgan, TensorFlow 2.21 · Keras 3.15 · CPU). Brauzerdagi panel (bitta seed, SGD) bilan sonlar farq qiladi, lekin tendensiya bir xil. GPU yoki boshqa versiyalarda sonlar biroz farq qilishi mumkin.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash” tugmasi bosilganda prompt ortidan tanlangan kod ham qoʻshiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozsangiz boʻladi.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki maqola uchun AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish faktini va koʻlamini maʼlum qiling.

Atamalar lugʻati

Bu matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Oʻxshatish tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Drozofila va miya oʻxshatishlariga kuch darajasi belgilangan. Bevosita haqiqatan ham bir xil ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas

TushunchaKundalik hayotdan oʻxshatishDrozofila va miya oʻxshatishiOʻxshatish xato boʻladigan joy
PikselMozaikaning bitta plitkasiQisman Drozofila fasetkali koʻzining bitta ommatidiysiOmmatidiylar oltiburchak shaklida joylashgan va yorugʻlik oʻzgarishiga sezgir. Rasmdagi piksel esa kvadrat panjaradagi qotib qolgan qiymat
FiltrFaqat muayyan naqshni yoritib koʻrsatadigan lupaQisman Birlamchi koʻrish poʻstlogʻidagi yoʻnalishni tanlovchi hujayralar [R1]Neyronlarning retseptiv maydoni har bir joyda biroz farq qiladi. CNN filtri esa barcha joylarda mutlaqo bir xil
Vaznlarni ulashishBir xil muhrni qogʻozning turli joylariga bosishQisman Drozofila koʻrish tizimida bir turdagi neyronlar butun koʻrish maydoni boʻylab takroran joylashganMiyadagi neyronlarning har biri oʻz bogʻlanish kuchiga ega. Sonlarni “ulashmaydi”
PoolingXaritani kichraytirib nusxalashQisman Joylashuv biroz farq qilsa ham javob beradigan murakkab hujayralar [R1]Murakkab hujayralar aynan maksimumni tanlash hisobini bajaradimi — bu tasdiqlanmagan
Qatlamlarni ustma-ust qoʻyishNuqta → chiziq → shakl tartibida rasm chizishQisman Koʻrish yoʻli V1 → V2 → V4 → pastki chakka poʻstlogʻi (3-1, 5-boʻlim)Miyada teskari bogʻlanishlar koʻp, CNN da esa signal faqat bir yoʻnalishda oqadi
YoyishShashka taxtasidagi toshlarni bir qatorga tizishYoʻqBir qatorga tizilsa, “kim kimga qoʻshni” degan maʼlumot yoʻqoladi (3-boʻlim ①)
SoftmaxOvoz berish natijalarini ovozlar ulushiga aylantirishYoʻqOvozlar ulushi yuqoriligi javob toʻgʻri degani emas. Ilk bor koʻrilgan rasmda ishonch bilan xato qilishi mumkin
Piksellarni aralashtirishJumboq boʻlaklarini belgilangan qoida boʻyicha aralashtirishYoʻqInson aralashtirilgan rasmni deyarli taniy olmaydi, MLP esa xuddi avvalgidek oʻrganadi. “Inson kabi koʻrish” mezoni modellarda turlicha

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasmlar uchun manbalar

E-1 Muallif haqida

Sangsun Ahn (M-Robo MChJ rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaperning tashqi venchur kompaniyasi M-Robo MChJni tashkil etib, uning rahbari lavozimida ishlamoqda. M-Robo MChJ ommaviy axborot vositasi ichidagi venchur loyiha sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, Koreya internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radiochastota agentligi va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining A.I yangiliklar gazetasi Money-Roboni yuritmoqda. Rahbarlik davrida Osiyo ochiq maʼlumotlar xakatonida gʻolib boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patentning ixtirochisi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi, Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim institutida fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Eng yuqori ilmiy darajasi — iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil

Maʼruzalar

  • Sangsun Ahn (2025). «Biznes uchun maʼlumotlar fani» maʼruzalar matni. Koreya ochiq kiberuniversiteti, sunʼiy intellekt integratsiyasi kafedrasi.
  • Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.
  • Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.

STEP maʼruzalariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli ochilishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va maʼruzalar

  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. «Kelajak jamiyati», 16(2). Asl matn
  • Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Milliy keksalik taʼminoti paneli ilmiy konferensiyasi maʼruza materiallari (2025.05.13), Milliy pensiya xizmati, Milliy pensiya tadqiqot instituti. Maʼruza materiallari
  • Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Kelajak jamiyati», 16(1). Asl matn
  • Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan raqib maʼlumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Kelajak jamiyati», 15(3). Asl matn
  • Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster maʼruzasi (2024.06.19), Seul media oliy maktabi universiteti.
  • Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻrganish modeli. 10-ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli ilmiy konferensiyasi poster maʼruzasi (2024.05.17), Koreya mehnat farovonligi korporatsiyasi, Mehnat farovonligi tadqiqot instituti.
  • Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. «Kelajak jamiyati», 15(1). Asl matn

E-2 Ilmiy manbalar

  1. [R1] Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. The Journal of Physiology, 160(1), 106–154. doi:10.1113/jphysiol.1962.sp006837 — 4-boʻlim (oddiy hujayralar·murakkab hujayralar)
  2. [R2] Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4), 193–202. doi:10.1007/BF00344251 — kirish qismi, 4-boʻlim
  3. [R3] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. doi:10.1109/5.726791 — kirish qismi, 4·7-boʻlimlar
  4. [R4] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6), 84–90. doi:10.1145/3065386 (asl taqdimot: NIPS 2012) — kirish qismi, 2-boʻlim (ILSVRC-2012 top-5 xatosi 15.3%, 2-oʻrin 26.2%)
  5. [R5] Lin, M., Chen, Q., & Yan, S. (2014). Network in network. ICLR 2014. arXiv:1312.4400 — 7-boʻlim (global oʻrtacha pooling)
  6. [R6] Azulay, A., & Weiss, Y. (2019). Why do deep convolutional networks generalize so poorly to small image transformations? Journal of Machine Learning Research, 20(184), 1–25. jmlr.org — 4·6·8-boʻlimlar (CNN kichik siljishga ham toʻliq invariant emas)
  7. [R7] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. doi:10.1038/nature14539 — 4·5-boʻlimlar
  8. [R8] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. deeplearningbook.org — 5·6-boʻlimlar (9-bob, konvolyutsion tarmoqlar: oʻzaro korrelyatsiya, pooling)

E-3 Rasmlar uchun manbalar

Quyidagi materiallar tuzilma va mazmun uchun manba sifatida olindi.

  • CNN tuzilishi infografikasi (konvolyutsiya·pooling misollari bilan) — 5·6-boʻlimlar
  • 1-boʻlimdagi rangli drozofila — seriya uchun umumiy piksel-art

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyidagi OJT masʼullari va tyutorlar uchun mashgʻulot yoʻriqnomasi. Vaqtlar taxminiy, shuning uchun haqiqiy darsga moslab oʻzgartiring.

Auditoriya3-2 ni tugatgan talabalar va xodimlar. Tasvir maʼlumotlari bilan ishlaydigan mutaxassislar (nazorat tasvirlari, tibbiy tasvirlar, hujjat skanerlari)
Talab qilinadigan bilimlar3-2 dagi yashirin qatlam·teskari tarqalish tushunchalari. Faqat koʻpaytirish va qoʻshish bilan 5·6-boʻlimlardagi hisoblarni kuzatib borish mumkin
Oʻquv maqsadlari① Rasm sonlar panjarasi ekanini tushuntiradi va MLP qoqiladigan toʻrtta sababni keltiradi ② Konvolyutsiya·ReLU·poolingni qoʻlda hisoblaydi ③ CNN joylashuv oʻzgarishida “nisbatan kamroq chalgʻiydi, lekin mukammal emas” ekanini tajriba natijalari asosida tushuntiradi
Taxminiy vaqtOʻqish 40–50 daqiqa · animatsiya namoyishi 25 daqiqa · Colab amaliyoti 30 daqiqa (kod 1 — 10 daqiqa, kod 2 — 20 daqiqa)

Uch xil mashgʻulot rejasi

Maʼruza shakli, 50 daqiqa

Tushunchalarga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlim, rangli drozofila sonlari) → 3-boʻlim, toʻrtta sabab 10 daqiqa → 5·6-boʻlimlar, qoʻlda hisoblash 15 daqiqa → 8-boʻlim, panel 15 daqiqa → tekshiruv savollari 5 daqiqa.

Ish joyidagi OJT, 90 daqiqa

Ishga tatbiq etishga yoʻnaltirilgan

3-boʻlim ② vaznlar portlashini oʻz kompaniyamiz tasvir oʻlchami bilan hisoblash 10 daqiqa → 8-boʻlim 20 daqiqa (ishlab chiqarishdagi kamera joyi oʻzgarsa-chi?) → kod 2 amaliyoti 30 daqiqa → “Bizning maʼlumotlarimizga qanday kengaytirish kerak?” muhokamasi 20 daqiqa → prompt kartalari 10 daqiqa.

1:1 tyutorlik

Darajaga qarab suʼrat

Boshlovchilar uchun faqat 1·3·5·8-boʻlimlar. Oʻrta darajadagilarga 5-boʻlimdagi chiqishning bitta katagini qoʻlda hisoblatib, kod 1 dagi conv2d funksiyasi bilan solishtiring, 7-boʻlimda esa yoyish va global poolingning parametrlari sonini oʻzlari sanab chiqsin.

Boʻlimlar boʻyicha asosiy jihatlar

BoʻlimToʻxtab beriladigan savolBoshqaruv boʻyicha maslahat
1 Sonlar panjarasi“Drozofila koʻzidagi qizil rang uchta kanalda qanday sonlar boʻladi?”Rangli drozofilada qizil·yashil·koʻk koʻrinishlarini navbatma-navbat bosing
2 Anʼanaviy mashinaviy oʻrganish“Inson belgilagan belgilar nega siljitilgan rasmda barbod boʻladi?”Toza rasm → 2 katak siljitilgan tartibida bosib, aniqlik ustunlarini solishtiring
3 MLP cheklovlari“Bevosita pastdagi piksel bir qatorda necha katak uzoqlikda boʻladi?”② vaznlar portlashida 1000×1000 ni bosib, son kattaligidan hayratga soling
4 CNN yechimi“Filtr ulashilsa, nega vaznlar rasm oʻlchamiga bogʻliq boʻlmay qoladi?”Qatlamlarni ustma-ust qoʻyishda bitta neyron koʻradigan doira 3 → 4 → 8 ga kengayishini taʼkidlang
5 Konvolyutsiya“Bu joydagi chiqish nega manfiy?”Toʻxtatib, “Bir katak siljitish” bilan formulani birga oʻqing
6 ReLU·pooling“Bir katak siljitilsa, poolingdan oldingi va keyingi holatdan qaysi biri kamroq oʻzgaradi?”Asl rasm va 1 katak siljitilgan rasmni navbatma-navbat bosing
7 Ehtimollikkacha“Yoyish va global pooling — qaysi biri joylashuvga kamroq sezgir?”“2 katak siljitilgan +” ni tanlab, ikki usulni navbatma-navbat koʻring
8 Taqqoslash paneli“Oʻrtadagi rasmda kim yutadi, siljitilgan rasmda-chi?”Avval joylashuvni siljitishni koʻrib, keyin piksellarni aralashtirishga oʻting va natija teskarisiga aylanishini koʻring

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushunchaToʻgʻri tushuntirishKoʻrsatiladigan sahna
CNN joylashuv oʻzgarsa ham bir xil taniydiU faqat nisbatan kamroq chalgʻiydi. Koʻp siljitilsa aniqlik pasayadi, katta CNN ham bir necha piksellik siljishda javobini oʻzgartirishi mumkin8-boʻlim joylashuvni siljitish, 6-boʻlim
CNN har doim MLP dan aniqroqBu sahifadagi kabi rasm doim bir joyda boʻlsa, MLP ning natijasi yuqoriroq boʻlishi ham mumkin. CNN ning afzalligi — parametrlar samaradorligi va siljishga chidamliligi8-boʻlimdagi 0 katakdagi aniqlik
Filtrlarni inson belgilaydi5-boʻlimdagi filtrlar tushuntirish uchun. Haqiqiy CNN filtr sonlarini teskari tarqalish orqali oʻrganadi7-boʻlimdagi oʻrgatilgan xaritalar
Pooling maʼlumotni koʻpaytiradiPooling sonlarni kamaytirib, maʼlumotning bir qismini tashlab yuboradi. Buning evaziga kichik siljishni yutadi va hisobni kamaytiradi6-boʻlimdagi 4×4 → 2×2
CNN miyaning koʻrish poʻstlogʻi bilan bir xilOddiy·murakkab hujayralardan gʻoya olingan, lekin oʻqitish usuli va bogʻlanish tuzilishi boshqachaUmumiy D boʻlimdagi “Qisman” belgisi

Tekshiruv savollari (izohni ochish uchun bosing)

Q1. 224×224 rangli rasm 1,000 ta yashirin neyronli MLP ga berilsa, birinchi qatlamda nechta vazn boʻladi? (siljishsiz)

224 × 224 × 3 = 150,528 ta kirish × 1,000 = 150,528,000 ta (taxminan 150 million). 64 ta 3×3 rangli filtrli konvolyutsiya qatlamida 3 × 3 × 3 × 64 = 1,728 ta (siljish bilan 1,792 ta).

Q2. 6×6 kirishga 3×3 filtr paddingsiz, qadam 1 bilan qoʻllanilsa, chiqish oʻlchami qancha?

(6 − 3 + 1) × (6 − 3 + 1) = 4×4.

Q3. 5-boʻlimdagi vertikal qirra filtri chap yuqori joyga qoʻyilganda chiqish nega −3 boʻlishini hisob bilan koʻrsating.

Ustma-ust tushgan boʻlakning ikkinchi qatori [0, 3, 3], filtrning har bir qatori esa [1, 0, −1]. 0×1 + 3×0 + 3×(−1) = −3. Birinchi va uchinchi qatorlar butunlay 0 boʻlgani uchun qoʻshilsa ham −3.

Q4. 2×2 oyna [6, 3, 0, 3] uchun maksimal pooling va oʻrtacha pooling qiymatlari qancha?

Maksimum 6, oʻrtacha (6 + 3 + 0 + 3) / 4 = 3.

Q5. Piksellar bir xil qoida bilan aralashtirilib, boshidan oʻqitilsa, MLP va CNN dan qaysi biri koʻproq pasayadi va nega?

CNN. CNN “yaqin piksellar oʻzaro bogʻliq” degan farazni tuzilmasiga (3×3 filtr, pooling) joylagan, aralashtirilganda esa yaqin kataklar bir-biriga hech aloqasi yoʻq piksellarga aylanadi. MLP dastlabdanoq piksellar orasidagi joylashuv munosabatidan foydalanmaydi, shuning uchun aralashtirilsa ham natija deyarli bir xil. Allaqachon oʻqitilgan modelga aralashtirilgan rasm berish emas, balki aralashtirilgan maʼlumotlarda boshidan oʻqitish sharti muhim.

Colab topshiriqlari

Asosiy

Kod 1 dagi FILTERS ga bitta diagonal qirra filtrini qoʻshing, 6×6 “7” da qaysi katak eng kuchli javob berishini topib, sababini ikki gapda yozing.

Murakkab

Kod 2 ning oʻqitish maʼlumotlariga 1~2 katak siljitilgan rasmlarni qoʻshing (maʼlumotlarni kengaytirish). Ikkala modelning 0~3 katakdagi aniqligi qanday oʻzgarishini jadvalga kiriting va “tuzilma orqali olinadigan chidamlilik” bilan “maʼlumotlar orqali olinadigan chidamlilik”ni solishtiring.

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Yangi boshlovchilar2- va 7-boʻlimlarni tashlab ketsa ham mavzu izchilligi buzilmaydi. 8-boʻlimda faqat natija ustunlarini birga oʻqing
Chuqurlashtirilgan4-boʻlimdagi qatlamlarni ustma-ust qoʻyishda retseptiv maydon hisobini (3 → 4 → 8) umumiy formula koʻrinishida ifodalashni topshiring. 6-boʻlimdagi cheklovlarni [R6] maqolasidagi jadval bilan bogʻlab muhokama qiling
Qoʻshimcha oʻrganishSangsun Ahn, «Biznes uchun maʼlumotlar fani» maʼruzalar matni (maʼlumotlar fani boʻyicha umumiy) · STEP [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash (3-5 va 3-8 qismlarga bogʻliq) · STEP [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari (3-6 qismga bogʻliq)
Oʻqituvchilar uchun materiallarTekshiruv savollarini baholash mezonlari va topshiriqlarning namunaviy javoblarini Oʻqituvchilar uchun javoblar sahifasi (3-3) da koʻrish mumkin

Barakalla!

«3-3 Tasvirlar va CNN» qismini oxirigacha oʻqidingiz. Laboratoriya jamoasi bir ogʻizdan xulosa qilib beradi.

Professor
ProfessorRasm sonlar panjarasidan ehtimollikka aylanguncha boʻlgan yoʻlni kuzatdik.
  • Rasm — sonlar panjarasi
  • Kichik bitta filtr bir xil naqshni istalgan joydan topadi (vaznlarni ulashish)
  • Joylashuv siljitilsa, MLP qattiq chalgʻiydi, CNN esa nisbatan kamroq chalgʻiydi (cheklovlari ham bor)
Yordamchi
Yordamchi7 raqamini siljitsak ham, CNN uni taniydi-ya.
Pashsha-tadqiqotchi
Pashsha-tadqiqotchiMening fasetkali koʻzim ham yuzlab kichik filtrlardan iborat.