Mushuk vs kuchukcha — qatlamlarni qoʻyib, koordinatalarni oʻzgartiramiz
Mushukda ham, kuchukchada ham jun, koʻz va quloq bor. Quyi darajali belgilari oʻxshash ikki obyektni ajratish uchun nima kerak? Perseptron va SVM nega bitta tekislik bilan toʻxtab qolishini 3 oʻlchamda aylantirib koʻramiz va yashirin qatlam koordinatalarni qanday oʻzgartirishini tekshiramiz. Soʻng CNN rasmni ehtimolga aylantiradigan butun jarayonni va oʻqitishni kuzatamiz, asosiy boʻlakni yopishtirib, toʻgʻri javoblarni aralashtiradigan maʼlumotlarni kengaytirish usulini (Attentive CutMix) oʻzimiz sinab koʻramiz.
Muallif · Sangsun Ahn (M-Robo Inc. bosh direktori) · Muallif haqida
57.7% → 99.2%Bir xil nuqtalar: chiziqli SVM va 3 ta yashirin neyronli MLP (Kod 1)
29 858kichik CNN da oʻrganiladigan sonlar
7 × 7oxirgi belgilar xaritasi toʻri (ResNet-50 dagidek)
6/49Attentive CutMix dagi mushuk javobi ulushi
93.3 → 95.2%200 ta rasm boʻlganda CutMix samarasi (Kod 2)
2 taColab muhitida darhol ishga tushadigan kod
1Muammo
Mushuk vs kuchukcha — junlari ham, koʻzlari ham, quloqlari ham bor
Ikkalasida ham jun bor, ikkita koʻz, quloqlari tik. Faqat quyi darajali belgilar bilan ularni ajratish qiyin. Bularni ajratish uchun model nimani qatlam-qatlam qurishi kerak?
Muallif tayyorlagan tasvir. Attentive CutMix [R6] tartibini tasvirlaydi.
4-2 dagi mushuk vs odam juftligi jun va teri kabi quyi darajali belgilardan boshlab farq qilardi. Mushuk vs kuchukcha esa boshqacha. Ikkalasida ham jun borligi uchun qirra xaritalari oʻxshash, farq esa tumshuq uzunligi, burun kattaligi, yuz konturi kabi qismlarning shaklida.
Bu qismda uch narsani koʻramiz: qatlamlar qoʻyilganda bitta tekislik bilan ajralmagan narsalar nega ajraladi (2-boʻlim), CNN rasmni ehtimolga qanday aylantiradi (3~4-boʻlimlar) va modelni asosiy qismlarga eʼtibor qaratishga oʻrgatadigan maʼlumotlarni kengaytirish usuli — rasmdagi Attentive CutMix (5~6-boʻlimlar).
Yangi boshlovchilar uchun tushuntirish
Rasmdagi usulda mushuk rasmidan model eng kuchli javob bergan boʻlak (koʻz va quloq atrofi) tanlanib, kuchukcha rasmiga yopishtiriladi va toʻgʻri javob yopishtirilgan maydon ulushiga qarab aralashtiriladi. 49 ta katakdan 6 tasi mushuk boʻlgani uchun toʻgʻri javob “mushuk 6/49, kuchukcha 43/49” boʻladi. 6-boʻlimda buni oʻzimiz sinab koʻramiz.
2Nega qatlam qoʻyiladi
Tasniflash chegarasi va koordinatalarni oʻzgartirish — qatlamlar nega qoʻyiladi
4-1 dagi perseptron va SVM bitta tekislik chizadi. Piksel koordinatalarining oʻzida esa narsalar bitta tekislik bilan ajralmaydi. Yechim — koordinatalarni oʻzgartirish, buni qanday qilishni kim hal qilishi esa yadroli SVM ni koʻp qatlamli neyron tarmoqdan ajratib turadi.
1Model
Chiziqli klassifikator belgilar fazosida bitta tekislik (2 oʻlchamda toʻgʻri chiziq, 3 oʻlchamda tekislik, undan yuqorida giper-tekislik) chizadi va nuqta qaysi tomonda turganiga qarab javob beradi. Bir qatlamli perseptron ham, chiziqli SVM ham aynan shu koʻrinishda, ikkalasi ham vazn w va siljish b ni topadi. Farq faqat tekislikni tanlash mezonida. Perseptron xato nuqtalar qolmagach toʻxtaydi, SVM esa ikki guruhgacha boʻlgan oraliq (marja) eng keng boʻlgan tekislikni tanlaydi. Shuning uchun vaznlarni topishning oʻzi ularni bir-biridan ajratib turadigan farq emas.
Chiziqli SVM ≈ bir qatlamli perseptronAsl koordinatalarda bitta tekislik
Yadroli SVMOdam tanlagan formula bilan koordinatalarni oʻzgartirib, soʻng tekislik
Koʻp qatlamli perseptron·CNNKoordinatalarni oʻzgartirish usulini ham oʻrganib, soʻng tekislik
Sodda qilib aytganda, bu stol ustida aralashib ketgan qora va oq munchoqlarni bitta chizgʻich bilan ajratishga oʻxshaydi. Qora munchoqlar oʻrtada toʻplangan, oq munchoqlar esa ularni atrofidan oʻrab olgan boʻlsa, chizgʻichni qanday qoʻymang, bir tomoni kesilib qoladi. Shunda stolni oʻrtasi botiq qilib egsak, qora munchoqlar pastga tushadi, oq munchoqlar yuqorida qoladi va ularni bitta gorizontal taxta bilan ajratish mumkin boʻladi. Yadroli SVM — stolni qanday egishni odam aytib beradigan usul, koʻp qatlamli neyron tarmoq esa qanday egishni oʻzi oʻrganadi.
2Formula
Chiziqli klassifikator: ŷ = 1 if w · x + b > 0, aks holda 0
Chiziqli SVM: barcha namunalarni toʻgʻri ajratgan holda marja 2 / ‖w‖ eng katta boʻladigan (w, b)Chegaraning shakli perseptronnikiga oʻxshaydi, faqat “qaysi tekislik tanlanadi” degan mezon farq qiladi. Amalda biroz xatoga yoʻl qoʻyadigan yumshoq marja ishlatiladi.
Yadroli SVM: w · φ(x) + b, φ ni odam tanlaydi (masalan: φ(x₁, x₂) = (x₁, x₂, x₁² + x₂²))
Koʻp qatlamli perseptron: h = σ(W₁x + b₁), ŷ = [ w₂ · h + b₂ > 0 ]Yashirin qatlam h — yangi koordinatalar, W₁ va b₁ esa oʻqitish orqali aniqlanadi. Oxirgi qator — yangi koordinatalar h da tekislik chizadigan bir qatlamli perseptron.
w, b
Tekislikning yoʻnalishi va joylashuvi. Barcha usullar umumiy tarzda topadi
φ(x)
Koordinatalarni oʻzgartiruvchi funksiya. Yadroli SVM da uni odam tanlagan yadro aniqlaydi
σ
tanh, ReLU kabi sinuvchi funksiya (aktivatsiya funksiyasi). U boʻlmasa, qatlamlar qoʻyilsa ham bitta tekislikka teng boʻladi
h
Yashirin qatlamning chiqishi. Oʻqitish orqali hosil qilingan yangi belgilar
Formulani boʻlakma-boʻlak oʻqish
w · x + bBu perseptronning vaznli yigʻindisi. Har bir belgi oʻz vazniga koʻpaytirilib qoʻshiladi va natija 0 dan katta boʻlsa, bir sinf deb javob beriladi. Qiymati 0 boʻladigan nuqtalarni tutashtirsak, chegara tekisligi hosil boʻladi.
φ(x)Bu koordinatalarni oʻzgartirish. Maqsad — asl fazoda egri boʻlgan chegarani oʻzgartirilgan fazoda tekis tekislikka aylantirish.
σ(W₁x + b₁)Bu φ ning oʻqitiladigan formulaga aylantirilgan koʻrinishi. W₁ oʻzgartirilsa, koordinatalarni oʻzgartirish usuli ham oʻzgaradi, oʻqitish esa W₁ ni oxirgi tekislik yaxshi ajratadigan tomonga tuzatadi. CNN dagi konvolyutsiya qatlamlari ham shu vazifani bajaradi.
Sonlar bilan sinab koʻramiz(0.1, 0.2) va (0.7, 0.1) nuqtalar: asl koordinatalarda biri oʻrtada, biri tashqarida, shuning uchun bitta toʻgʻri chiziq bilan atrofni oʻrab boʻlmaydi φ = (x₁, x₂, x₁² + x₂²) ga oʻzgartirsak, uchinchi koordinata 0.05 va 0.50 boʻladi → “uchinchi koordinata = 0.3” degan bitta tekislik bilan ajraladi
33 oʻlchamda aylantirib koʻrish · bir xil nuqtalarni uch usulda ajratish
Bu — oʻrtadagi guruh va uni atrofidan oʻrab olgan guruh, yaʼni ikki guruh nuqtalari (tushuntirish uchun sunʼiy maʼlumotlar). Tugmalar bilan usulni almashtiring va rasmni sudrab aylantirib koʻring. ③ dagi yashirin qatlam (3 ta neyron) — bu sahifa ochilganda brauzerning oʻzida haqiqatan oʻqitilgan natija.
Usul
Bitta tekislik bilan toʻgʻri ajratilgan ulush: -
Koordinata oʻqlari: -
● oʻrtadagi guruh ● atrofdagi guruh binafsha sirt = chegara tekisligi. Rasmni bosgandan soʻng yoʻnalish tugmalari bilan ham aylantirish mumkin.
4Bir xil mezonlar boʻyicha taqqoslash
Usul
Chegara shakli
Koordinatalarni (belgilarni) kim tanlaydi
Xom piksel rasmlarda
Paydo boʻlgan
Bir qatlamli perseptron
Bitta tekislik
Oʻzgartirmaydi
Yaxshi ishlamaydi
1958
Chiziqli SVM
Bitta tekislik (marja maksimal)
Oʻzgartirmaydi
Yaxshi ishlamaydi (odatda perseptrondan biroz yaxshiroq)
1990-yillar
Yadroli SVM
Asl fazoda egri chegara
Odam yadro orqali tanlaydi
Oddiy rasmlarda (qoʻlyozma raqamlar) yaxshi, tabiiy rasmlarda cheklangan
1992~
Koʻp qatlamli perseptron · CNN
Asl fazoda egri chegara
Maʼlumotlardan oʻrganiladi
Yaxshi ishlaydi (yetarli maʼlumot kerak)
1986~, CNN 2012-yilda sakrash
Qoʻlyozma raqamlarda (MNIST) yadroli SVM faqat piksellarning oʻzi bilan ham taxminan 1% xatolik koʻrsatgan (LeCun va boshq., 1998-yilgi taqqoslash). Rasmlar murakkablashgan sari odamga mos yadroni tanlash qiyinlashadi. Aksincha, oʻqitilgan CNN ajratib olgan belgilar vektoriga chiziqli SVM ulansa ham, tasniflash yaxshi ishlaydi (Razavian va boshq., 2014). Bu natijani klassifikator turi emas, balki belgilar hal qilganini anglatadi.
5Talqin · keng tarqalgan notoʻgʻri tushunchalarni tuzatish
“SVM ishlamagani uchun perseptron paydo boʻlgan” degan fikrda tartib teskari. Avval perseptron (1958) paydo boʻlgan, koʻp qatlamli neyron tarmoqlarni oʻqitish qiyin boʻlgan 1990~2000-yillarda esa SVM asosiy usulga aylangan. 2012-yilda chuqur CNN katta hajmdagi rasmlarni tasniflashda SVM ga asoslangan usullarni katta farq bilan yengib, yoʻnalish yana oʻzgardi.
“Perseptron vaznlarni topgani uchun aniq” degan fikr ham yarim toʻgʻri. Vaznlarni SVM ham topadi. Bir qatlamli perseptron chiziqli SVM kabi bitta tekislikli klassifikator boʻlgani uchun xom piksel rasmlarda u ham xuddi shunday toʻxtab qoladi. Yaxshi ishlaydiganlari — yashirin qatlami bor koʻp qatlamli perseptron va CNN.
Xulosa qilib aytganda, farq SVM yoki perseptronda emas, balki koordinatalarni (belgilarni) odam tanlaydimi yoki ular maʼlumotlardan oʻrganiladimi degan savoldan kelib chiqadi. Piksel qoidasi maʼnosiz fon kataklarini tanlab qolishi (4-4) piksel degan koordinatalar yomonligidan, 4-2 dagi filtrlar va shu qismdagi CNN esa bu koordinatalarni oʻqitish orqali oʻzgartiradigan vositalardir. CNN gʻalabasida qatlamlar qoʻyilganidan tashqari konvolyutsiyadagi vaznlarning umumiyligi, katta hajmdagi yorliqli maʼlumotlar va GPU hisoblashlari ham birgalikda rol oʻynagan.
✓Tekshiruv savoli
Q1. Bir qatlamli perseptron va chiziqli SVM orasidagi munosabat haqida qaysi fikr toʻgʻri?
Q2. Yadroli SVM va koʻp qatlamli perseptron orasidagi eng muhim farq nima?
Q3. Yashirin qatlamdan σ (aktivatsiya funksiyasi) olib tashlansa, nima boʻladi?
Yangi boshlovchilar uchun tushuntirish
Yashirin qatlamdagi bitta neyron “vaznli yigʻindi → sinuvchi funksiya (tanh, ReLU)” orqali bitta yangi koordinata hosil qiladi. Oʻqitish oxirgi tekislik yaxshi ajratishi uchun aynan shu koordinatalarni hosil qilish usulining oʻzini tuzatadi. Kod 1 da bir xil nuqtalarni chiziqli SVM 57.7%, odam tanlagan x₁² + x₂² qoʻshilgan SVM 98.8%, 3 ta yashirin neyronli koʻp qatlamli perseptron esa 99.2% toʻgʻri ajratdi. CNN dagi konvolyutsiya qatlamlari ham shu “koordinatalarni oʻzgartirish”ni rasmlarga moslab bajaradi.
3CNN tuzilishi
CNN ni bir qarashda koʻrish — kichrayib, qalinlashib boradigan belgilar xaritasi
Konvolyutsiya → ReLU → pooling takrorlansa, rasm kichrayadi, belgilar xaritasi soni esa koʻpayadi. Oxirida ular yoyilib, perseptron qatlamiga berilsa, har bir sinf uchun ball chiqadi.
1Model
Konvolyutsion neyron tarmoq (CNN) — 4-2 dagi qismlarni (konvolyutsiya va pooling) qatlam-qatlam qoʻyib qurilgan model boʻlib, 2-boʻlimda koʻrgan “koordinatalarni oʻqitish orqali oʻzgartirib, soʻng tekislik chizadigan” koʻp qatlamli neyron tarmoqning rasmlar uchun maxsus koʻrinishidir. [Konvolyutsiya → ReLU → pooling] bir necha marta takrorlansa, rasm borgan sari kichrayadi, buning evaziga belgilar xaritasi soni (kanallar) koʻpayadi. Oxirgi belgilar xaritasini bir qatorga yoyib, toʻliq bogʻlangan qatlamga (bir nechta perseptron) bersak, har bir sinf uchun bittadan ball chiqadi, softmax esa bu ballarni yigʻindisi 1 ga teng ehtimollarga aylantiradi.
KirishPiksellar matritsasi 56 × 56 × 3
Oʻrta qismKichrayib, qalinlashib boradigan belgilar xaritasi
ChiqishP(mushuk), P(kuchukcha)
Sodda qilib aytganda, bu kompaniyadagi hisobot tizimi. Joylardagi xodimlar (1-qatlam) “bu yerda chiziq bor” kabi kichik faktlar haqida xabar beradi, boʻlim boshliqlari (2~3-qatlamlar) bu xabarlarni jamlab “bu yerda koʻz va quloq bor” deb yuqoriga uzatadi, rahbariyat (toʻliq bogʻlangan qatlam) esa faqat xulosaga qarab “mushuk boʻlish ehtimoli 93%” deb qaror qiladi. Yuqoriga koʻtarilgan sari hisobotlar qisqarib, mazmuni mavhumlashib boradi.
h = flatten(F(L)), z = W·h + bOxirgi belgilar xaritasini bir qatorga terib hosil qilingan h ni perseptron qatlamiga berib, har bir sinf uchun z ballarni olamiz.
pk = ezk / Σj ezj, L = −log ptoʻgʻri
ℓ
Qatlam raqami. F⁽ˡ⁾ — ℓ-qatlamning belgilar xaritasi
K⁽ˡ⁾
ℓ-qatlamdagi filtrlar toʻplami. Kanallar bir nechta boʻlsa, filtr ham shuncha qalin boʻladi (3 × 3 × kanallar soni)
h
Yoyilgan belgilar. 7 × 7 × 64 boʻlsa, 3 136 ta son
z, p, L
Ball, ehtimol, kross-entropiya xatoligi
Formulani boʻlakma-boʻlak oʻqish
F⁽ˡ⁻¹⁾ ∗ K⁽ˡ⁾Oldingi qatlamning belgilar xaritasi keyingi qatlamning kirishi boʻladi. 2-qatlam filtrlari piksellarga emas, balki 1-qatlam topgan “qirra xaritalari”ga qarab burchak yoki egri chiziqlarni topadi.
flatten3 qavatli sonlar qutisini bir qatorga terib chiqadi. Sonlar oʻzgarmaydi, faqat tartibi oʻzgaradi.
ez / ΣezBu softmax. Ball qanchalik katta boʻlsa, ehtimol ham shunchalik katta boʻladi, barcha ehtimollar yigʻindisi esa 1 ga teng.
−log ptoʻgʻriBu kross-entropiya. Toʻgʻri javobga berilgan ehtimol 1 boʻlsa, qiymat 0, ehtimol qanchalik kichik boʻlsa, jarima shunchalik katta boʻladi. Oʻqitish bu qiymat kamayadigan tomonga filtrlar K ni ham, W ni ham tuzatadi.
Sonlar bilan sinab koʻramizBallar z = (mushuk 3.0, kuchukcha 0.5) → e³ = 20.09, e⁰·⁵ = 1.65, yigʻindi 21.74 p(mushuk) = 20.09 / 21.74 = 0.924, p(kuchukcha) = 1.65 / 21.74 = 0.076 Toʻgʻri javob mushuk boʻlsa, L = −log 0.924 = 0.079 (kichik jarima). Toʻgʻri javob kuchukcha boʻlganida edi, L = −log 0.076 = 2.58 (katta jarima)
3Diagramma · kichik CNN ni bir qarashda koʻrish
Bosqich
Vazifasi
Chiqish oʻlchami
Sonlar miqdori
Oʻrganiladigan sonlar (parametrlar)
Kirish
Piksellar matritsasi
56 × 56 × 3
9,408
0
Konvolyutsiya1
16 ta 3 × 3 filtr, chekkalarda padding
56 × 56 × 16
50,176
3·3·3·16 + 16 = 448
Pooling1
2 × 2 max pooling
28 × 28 × 16
12,544
0
Konvolyutsiya2 + pooling2
32 ta filtr → yarmiga
14 × 14 × 32
6,272
3·3·16·32 + 32 = 4,640
Konvolyutsiya3 + pooling3
64 ta filtr → yarmiga
7 × 7 × 64
3,136
3·3·32·64 + 64 = 18,496
Yoyish
Bir qatorga
3,136
3,136
0
Toʻliq bogʻlangan
2 ta ball
2
2
3,136·2 + 2 = 6,274
Softmax
Ehtimolga
2
2
0 (jami 29 858)
Oxirgi belgilar xaritasi 7 × 7 ekanini eslab qoling. Amalda keng qoʻllanadigan ResNet-50 da ham 224 × 224 rasm berilsa, oxirgi belgilar xaritasi 7 × 7 toʻr (2 048 ta kanal) boʻladi va 6-boʻlimdagi Attentive CutMix aynan shu 49 ta katakdan foydalanadi.
Yangi boshlovchilar uchun tushuntirish
Jadvaldagi sonlarni kuzatib chiqing. 56 × 56 × 3 rasm konvolyutsiya va poolingdan uch marta oʻtib 7 × 7 × 64 ga aylanadi, yoyilgan 3 136 ta son toʻliq bogʻlangan qatlamdan oʻtib, 2 ta ballga aylanadi. Oʻrganiladigan sonlar jami 29 858 ta. Amalda keng qoʻllanadigan ResNet-50 da ular taxminan 25 million ta, lekin oxirgi belgilar xaritasi 7 × 7 toʻr ekani bir xil [R4].
4Ehtimol
Rasm ehtimolga aylanguncha — softmax va oʻqitish
Oxirgi ballar softmax orqali ehtimolga aylantiriladi va toʻgʻri javob bilan farqqa (kross-entropiyaga) qarab filtrlar va vaznlar tuzatiladi.
Yuqoridan rasm tanlang. 1-qatlamdagi belgilar xaritasi va pooling natijalari haqiqiy rasmga filtr qoʻllab, shu sahifada hisoblangan. Keyingi qatlamlarning javoblari va oxirgi ehtimollar esa jarayonni koʻrsatish uchun tanlangan misol qiymatlari.
Rasm
Kirish matritsasi
1-qatlam: qirralarni topish
Pooling: kichraytirish
Keyingi qatlamlar: qismlarni topish
Ball → ehtimol
2Softmax kalkulyatori
Toʻliq bogʻlangan qatlam chiqargan ikkita ballni oʻzgartirib koʻring. Toʻgʻri javob mushuk deb faraz qilinadi.
3Talqin · filtr sonlari qanday aniqlanadi
Boshida CNN dagi filtr sonlari K ham, toʻliq bogʻlangan qatlamdagi W ham tasodifiy boʻladi. Mushuk rasmi berilsa ham, ehtimollar taxminan teng yarmidan chiqadi.
Toʻgʻri javob aytilsa, xatolik L = −log ptoʻgʻri hisoblanadi va oldingi qismda koʻrgan gradiyent tushish usuli bilan barcha sonlar xatolik kamayadigan yoʻnalishda ozgina tuzatiladi. Bu gradiyent chiqishdan kirish tomonga qatlamlar boʻylab teskari yoʻnalishda uzatiladi (teskari tarqalish).
Bu jarayon oʻn minglab rasmlarda takrorlansa, hech kim buyurmagan boʻlsa ham 1-qatlam filtrlari qirra filtrlari shakliga keladi, keyingi qatlamlar filtrlari esa koʻz yoki quloqqa javob beradigan boʻladi. “Qaysi belgilarga qarash”ni ham maʼlumotlardan oʻrganishi — belgilarni odam tanlagan usuldan eng katta farqi.
4Asosiy xususiyatlar
Afzalliklari
Pikseldan ehtimolgacha bir yoʻla oʻrganadi (belgilarni loyihalash shart emas)
Filtrlar umumiy boʻlgani uchun xuddi shunday oʻlchamdagi toʻliq bogʻlangan tarmoqqa qaraganda parametrlar ancha kam
Qatlamlar chuqurlashgan sari mavhumroq belgilarni ifodalaydi
Cheklovlari
Oʻqitish uchun yorliqli rasmlar koʻp kerak
Oʻrganmagan birikmalarda (maffinga oʻxshagan chixuaxua) ishonch bilan xato qilishi mumkin
Ehtimol yuqori boʻlsa ham, sababi toʻgʻri boʻlavermaydi (faqat fonga qarab toʻgʻri topishi ham mumkin)
Oʻrni: neokognitron (1980) → LeNet (1989·1998) → AlexNet (2012) → VGG·GoogLeNet (2014) → ResNet (2016). Bugungi vizual transformerlar ham birinchi bosqichda rasmni kichik boʻlaklarga qirqib, sonlarga aylantirishi bilan bir xil.
✓Tekshiruv savoli
Q1. CNN dan oʻtgan sari belgilar xaritasining shakli odatda qanday oʻzgaradi?
Q2. Ballar z = (2.0, 2.0) boʻlsa, softmax ehtimollari qancha?
Q3. Oʻqitish davomida nima tuzatiladi?
Yangi boshlovchilar uchun tushuntirish
Softmax ballarni yigʻindisi 1 ga teng ehtimollarga aylantiradi. Kross-entropiya toʻgʻri javobga berilgan ehtimol qanchalik past boʻlsa, shunchalik katta jarima beradi. Oʻqitish — bu jarima kamayadigan tomonga barcha filtr sonlari va vaznlarni ozgina tuzatish jarayoni, gradiyent esa chiqishdan kirish tomonga qatlamlar boʻylab teskari uzatiladi (teskari tarqalish) [R3].
5Mushuk vs kuchukcha
Mushuk vs kuchukcha — qismlarning shakli hal qiladi
Quyi darajali belgilar (jun qirralari) oʻxshash. Ularni tumshuq uzunligi, burun kattaligi, yuz konturi kabi 3-qatlam va undan keyingi qatlamlarda koʻriladigan qism belgilari ajratadi.
②Mushuk vs kuchukcha Oʻrtacha
Bu safar quyi darajali belgilar oʻxshash. Ikkalasida ham jun borligi uchun qirra kuchi xaritasi butun rasm boʻylab zich, ikkita koʻz va tik quloqlar ham bir xil. Faqat 1~2-qatlam belgilari bilan ularni ajratish qiyin.
Farq qismlarning shaklida. Kuchukchaning tumshugʻi oldinga uzun chiqib turadi, burni katta, baʼzan ogʻzi ochilib tili koʻrinib turadi. Mushukning yuzi dumaloq, burni va ogʻzi kichik. Ularni 3-qatlam va undan keyingi qatlamlardagi “koʻz, burun va tumshuq joylashuvi”ga qaraydigan belgilar ajratadi.
Shuning uchun model rasmning umumiy koʻrinishiga (jun rangi, fon) emas, balki aynan shunday asosiy qismlarga eʼtibor qaratishga oʻrgatadigan usullar paydo boʻldi. 6-boʻlim — 1-boʻlimdagi tasvirda koʻrsatilgan Attentive CutMix.
Yangi boshlovchilar uchun tushuntirish
Juftlik taqqoslashda “Qirra kuchi” koʻrinishiga oʻtsangiz, ikkala rasmda ham jun tufayli qirra xaritasi zich boʻladi. Ruxsatni 7 gacha tushirganda nima birinchi boʻlib yoʻqolishini ham kuzating. Model jun rangi yoki fon (oʻtloq) kabi oson ishoralarga emas, balki yuz qismlariga qarashi uchun oʻqitish maʼlumotlarini qanday berish muhim boʻlib qoladi. Bu — 6-boʻlimdagi maʼlumotlarni kengaytirish.
6Maʼlumotlarni kengaytirish
Maʼlumotlarni kengaytirish va Attentive CutMix — boʻlak yopishtiriladi, toʻgʻri javob ham aralashtiriladi
Rasmlar kam boʻlsa yoki model notoʻgʻri ishoralarga tayansa, oʻqitish rasmlarini oʻzgartirib yoki aralashtirib, “nimaga qarash kerak”ligini oʻrgatamiz.
1Maʼlumotlarni kengaytirish turlari · bitta rasmni har safar boshqacha koʻrsatish
Usul
Vazifasi
Toʻgʻri javob?
Nimani oʻrgatadi
Aylantirish·qirqish·burish
Oʻngni chapga aylantiradi yoki bir qismini qirqib kattalashtiradi
Oʻzgarmaydi
Joylashuv va yoʻnalish oʻzgarsa ham obyekt bir xil
Colab Kod 2 da qoʻlyozma raqamlardan har bir sinf uchun atigi 20 tadan (200 ta) rasm berib, bir xil CNN oʻqitilganda, test aniqligi oddiy usulda 93.3%, CutMix bilan esa 95.2% boʻldi (3 ta seed boʻyicha oʻrtacha). Bu rasmlar kam boʻlganda aralashtirib yopishtirish foyda bergan misol. Maʼlumotlar va model oʻzgarsa, samara darajasi ham oʻzgaradi.
②+Attentive CutMix ni takrorlab koʻrish · mushukning asosiy boʻlagini kuchukchaga yopishtirish
Usul toʻrt bosqichdan iborat. (1) Oldindan oʻqitilgan CNN ga mushuk rasmini berib, oxirgi 7 × 7 belgilar xaritasini olamiz. (2) 49 ta katak orasidan javobi eng kuchli k ta katakni tanlaymiz. (3) Oʻsha kataklarga mos mushuk rasmi boʻlaklarini tasodifiy kuchukcha rasmining xuddi shu joyiga yopishtiramiz. (4) Toʻgʻri javobni ham maydon ulushiga qarab aralashtiramiz. k = 6 boʻlsa, mushuk 6/49, kuchukcha 43/49 boʻladi.
Diqqat: maqolada boʻlaklar ImageNet da oʻqitilgan ResNet-50 ning haqiqiy javoblari asosida tanlanadi. Bu yerda oʻqitilgan model oʻrniga javobning oʻrinbosari sifatida “katak ichidagi oʻrtacha qirra kuchi” ishlatilgan. Shuning uchun koʻz va burundan tashqari peshonadagi chiziqlar yoki fondagi qirralar kabi shunchaki qirrasi koʻp kataklar ham tanlanib qolishi mumkin. Haqiqiy oʻqitilgan model qaysi kataklarni tanlashi bundan farq qilishi mumkin.
Nega bu usul natijani yaxshilaydi
Bir boʻlakdan ham mushukAralashtirilgan rasmdagi mushuk ulushi — bor-yoʻgʻi oltita koʻz va quloq boʻlagi. Shu bilan “mushuk 12%” ni toʻgʻri topishi uchun model jun rangi yoki fonga emas, balki qism belgilariga qarashi kerak.
Toʻgʻri javob ham aralashtiriladiModel “100% kuchukcha” deb turib olmasdan, 88% deb javob berishga oʻrganadi. Bu modelning haddan tashqari ishonch odatini (ortiqcha moslashishni) kamaytiradigan regulyarizatsiya samarasini beradi.
Tasodifiy boʻlakdan farqiAsl CutMix bitta toʻrtburchakni tasodifiy joydan qirqib yopishtiradi. Bunda faqat fon yopishtirilib, “mushuk 30%” degan notoʻgʻri javob paydo boʻlishi mumkin. Attentive CutMix javobi kuchli joylarni tanlab, bu muammoni kamaytiradi.
Yangi boshlovchilar uchun tushuntirish
Maʼlumotlarni kengaytirish — model tuzilishini oʻzgartirmasdan, faqat oʻqitish rasmlarini oʻzgartirib natijani yaxshilash usuli. U ortiqcha moslashishni, yaʼni modelning faqat oʻqitish rasmlariga haddan tashqari moslashib qolishini kamaytiradigan regulyarizatsiya samarasini beradi. Yuqoridagi amaliyotda oʻqitilgan ResNet-50 oʻrniga javobning oʻrinbosari sifatida “katak ichidagi qirra kuchi” ishlatilganini yodda tuting.
A
Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring
Ikkala kod ham faqat Colab muhitida oldindan oʻrnatilgan kutubxonalar va ichki maʼlumotlardan foydalanadi. “Notebook (.ipynb) yuklab olish”dan soʻng Colab muhitida File → Upload notebook orqali oching yoki nusxalab, yangi Notebook katagiga joylashtiring.
Kod 1 · Nega qatlam qoʻyiladi — yashirin qatlam koordinatalarni qanday oʻzgartiradi2·4-boʻlimlar bilan bogʻliq · numpy, scikit-learn, matplotlib · CPU da 1 soniyadan kam
Oʻrtadagi va atrofdagi ikki guruhni perseptron, chiziqli SVM, odam tanlagan almashtirish, RBF yadroli SVM va 3 ta yashirin neyronli koʻp qatlamli perseptron (numpy da teskari tarqalish qoʻlda yozilgan) bilan taqqoslaydi, softmax va kross-entropiyani hisoblaydi.
Ishga tushirish natijasi (2026-10-04 da ishga tushirilgan, numpy 2.4 · scikit-learn 1.8 · CPU). Tasodifiy sonlar seedi oʻzgarmas qilib qoʻyilgani uchun har safar bir xil chiqadi.
Kod 2 · Kichik CNN va CutMix — rasmlar kam boʻlganda aralashtirib yopishtirish yordam beradimi3·6-boʻlimlar bilan bogʻliq · numpy, tensorflow(Keras), scikit-learn · CPU da taxminan 1 daqiqa
8 × 8 qoʻlyozma raqamlardan har bir sinf uchun atigi 20 tadan rasm bilan bir xil CNN ni oddiy usulda va CutMix bilan oʻqitib, test aniqligini 3 ta seed boʻyicha solishtiradi. Mushuk va kuchukcha rasmlariga almashtirish uchun keras.datasets.cifar10 dan 3-sinf (mushuk) va 5-sinf (it) ni tanlang hamda Input shaklini (32, 32, 3) ga oʻzgartiring.
Ishga tushirish natijasi (2026-10-04 da ishga tushirilgan, TensorFlow 2.21 · Keras 3 · CPU). Seed, versiya va apparatga qarab sonlar biroz farq qilishi mumkin.
B
AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish
ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash”ni bossangiz, prompt ortidan tanlangan kod ham qoʻshib qoʻyiladi. 〔 〕 ichidagini oʻz vaziyatingizga moslab yozing.
Qoʻshib qoʻyiladigan kod
AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki ilmiy maqolada AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish fakti va koʻlamini oshkor qiling.
C
Atamalar lugʻati
Matndagi sariq nuqtali tagchiziq bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.
D
Oʻxshatishlar toʻplami — va oʻxshatish qayerda notoʻgʻri boʻladi
Oʻxshatish tushunishning birinchi qadami, ammo notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Inson koʻzi va miyasiga oid oʻxshatishlarda kuch darajasi koʻrsatilgan. Bevosita haqiqatda xuddi shu ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas
Tushuncha
Kundalik oʻxshatish
Inson koʻzi va miyasiga oʻxshatish
Oʻxshatish qayerda notoʻgʻri boʻladi
Yashirin qatlam
Gʻijimlangan qogʻozni yoyib, chizgʻich bilan ajratish
Yoʻq
Qogʻozni odam yoyadi, yashirin qatlam esa “qanday yoyish”ni oʻrganadi. Bundan tashqari, amalda bu yuzlab oʻlchamda sodir boʻladi va uni koʻz bilan koʻrib boʻlmaydi
CNN qatlamlari
Oddiy xodim → boʻlim boshligʻi → rahbariyat: hisobot berish zanjiri
Qisman Koʻrish yoʻli ham toʻr parda → birlamchi koʻrish poʻstlogʻi → yuqori sohalar tomon borgan sari kengroq hudud va murakkabroq shakllarga javob beradi
Miyada teskari yoʻnalishdagi bogʻlanishlar va diqqat mexanizmlari koʻp. CNN esa faqat bir yoʻnalishda hisoblaydi
Softmax
Ovozlar sonini ovozlar ulushiga aylantirish
Yoʻq
Ovozlar ulushi haqiqiy saylov natijasi, softmax ehtimolligi esa modelning “ishonch darajasi” xolos va u toʻgʻri topish ehtimoliga teng boʻlmasligi mumkin
Teskari tarqalish
Natija notoʻgʻri chiqqanda, oxirgi bosqichdan boshlab orqaga qarab javobgarlikni surishtirish
Yoʻq
Javobgarlikni “boʻlib soʻrash” miqdori hosila orqali aniq hisoblanadi. Kim xato qilganini odam hal qilmaydi
CutMix
Ikki rasmni qirqib yopishtirilgan kollajda toʻgʻri javobni ham yopishtirilgan maydonga qarab boʻlib berish
Yoʻq
Yopishtirilgan boʻlak faqat fondan iborat boʻlsa, “mushuk 30%” degan notoʻgʻri javob paydo boʻladi. Attentive CutMix buni kamaytiradi
E
Muallif haqida va manbalar
E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasm va maʼlumotlar uchun manbalar
E-1 Muallif haqida
Sangsun Ahn (M-Robo Inc. bosh direktori)
Korea Electrical Safety Corporation va Maeil Business Newspaper gazetasida ishlagan, hozir Maeil Business Newspaper gazetasining tashqi venchuri M-Robo Inc. kompaniyasini asos solib, uning bosh direktori lavozimida ishlamoqda. M-Robo Inc. — ommaviy axborot vositasining ichki venchuri sifatida boshlangan media venchur boʻlib, Kukmin Ilbo gazetasi uchun robot-jurnalist (StockBot) xizmatini taqdim etgan, Korea Internet & Security Agency, Korea Press Foundation, Korea Communications Agency va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining AI yangiliklar nashri Money-Robo xizmatini yuritmoqda. Bosh direktorlik davrida Asia Open Data Hackathon gʻolibi boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun ikki marta Korea Ministry of the Interior and Safety vazirining mukofotini olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patent muallifi va egasi. “AI jinoyatlari va oʻzini himoya qilish” (AI범죄와 자기방어) kitobining muallifi, Korea University of Technology and Education (KOREATECH) Online Lifelong Education Institute uchun fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Iqtisodiyot fanlari doktori (Dongguk University, mikro-matematik iqtisodiyot). Kookmin University, Hoseo University va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil
Maʼruzalar
Sangsun Ahn (2025). “Biznes uchun maʼlumotlar fani” (비즈니스를 위한 데이터 과학) maʼruza materiallari. Open Cyber University of Korea, Sunʼiy intellekt konvergensiyasi kafedrasi.
Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (Smart Training Education Platform), KOREATECH Online Lifelong Education Institute.
Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (Smart Training Education Platform), KOREATECH Online Lifelong Education Institute.
Sangsun Ahn (2025). Koreya keksalik taʼminoti panel maʼlumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. “Kelajak jamiyati” (미래사회), 16(2). Asl matn
Sangsun Ahn (2025). Koreya keksalik taʼminoti panel maʼlumotlari asosida uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Keksalik taʼminoti paneli ilmiy konferensiyasi taqdimoti (2025.05.13), National Pension Service, National Pension Research Institute. Taqdimot
Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahliliga eʼtibor bilan. “Kelajak jamiyati” (미래사회), 16(1). Asl matn
Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun raqib maʼlumotlarga qarshi statistik choralar: empirik tahlil va simulyatsiya natijalari. “Kelajak jamiyati” (미래사회), 15(3). Asl matn
Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster taqdimoti (2024.06.19), Seoul Media Institute of Technology.
Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻqitish modeli. 10-ishlab chiqarish jarohatlari sugʻurtasi paneli ilmiy konferensiyasi poster taqdimoti (2024.05.17), Korea Workers' Compensation & Welfare Service, Labor Welfare Research Institute.
Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. “Kelajak jamiyati” (미래사회), 15(1). Asl matn
E-2 Ilmiy manbalar
[R1] Rosenblatt, F. (1958). The perceptron. Psychological Review, 65(6), 386–408. — 2-boʻlim
[R2] Boser, B. E., Guyon, I. M., & Vapnik, V. N. (1992). A training algorithm for optimal margin classifiers. COLT 1992. — 2-boʻlim (yadroli SVM)
[R3] Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. — 2·4-boʻlimlar
[R4] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. CVPR 2016. — 3·6-boʻlimlar
[R5] Yun, S., Han, D., Oh, S. J., Chun, S., Choe, J., & Yoo, Y. (2019). CutMix: Regularization strategy to train strong classifiers with localizable features. ICCV 2019. — 6-boʻlim, Kod 2
[R6] Walawalkar, D., Shen, Z., Liu, Z., & Savvides, M. (2020). Attentive CutMix: An enhanced data augmentation approach for deep learning based image classification. ICASSP 2020. — 1·6-boʻlimlar
[R7] Zhang, H., Cisse, M., Dauphin, Y. N., & Lopez-Paz, D. (2018). mixup: Beyond empirical risk minimization. ICLR 2018. — 6-boʻlim
[R8] Razavian, A. S., Azizpour, H., Sullivan, J., & Carlsson, S. (2014). CNN features off-the-shelf: An astounding baseline for recognition. CVPR Workshops 2014. — 2-boʻlim
[R9] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. NeurIPS 2012. — 2-boʻlim
E-3 Rasm va maʼlumotlar uchun manbalar
1-boʻlimdagi rasmni muallifning oʻzi tayyorlagan, unda [R6] dagi jarayon tasvirlangan
2-boʻlimdagi nuqtalar tushuntirish uchun yaratilgan sunʼiy maʼlumotlar, ③dagi yashirin qatlam esa sahifa ochilganda brauzerning oʻzida haqiqatan oʻqitiladi
4-boʻlim animatsiyasidagi 1-qatlam belgilar xaritasi va pooling haqiqiy hisob-kitob, keyingi qatlamlarning javobi va ehtimolliklar esa misol qiymatlari
6-boʻlimdagi 7 × 7 javob xaritasi oʻqitilgan model oʻrniga har bir katakdagi qirra kuchi bilan almashtirilgan
F
Oʻqituvchilar uchun maslahat (TIP)
Oʻqituvchilar, ish joyida oʻqitish (OJT) masʼullari va repetitorlar uchun dars oʻtkazish boʻyicha qoʻllanma. Vaqtlar taxminiy, haqiqiy darsga moslab oʻzgartiring.
Auditoriya
4-1 va 4-2 ni tugatgan talabalar va xodimlar. Chuqur oʻrganish “nega chuqur boʻlishi kerakligini” tushuntirib berishi kerak boʻlgan amaliyotchilar
Oldindan kerakli bilimlar
4-1 dagi perseptron va SVM, 4-2 dagi konvolyutsiya. Eksponensial funksiya e^z ning maʼnosi
Oʻquv maqsadlari
① Chiziqli klassifikator yengib oʻtolmaydigan maʼlumotlarni misol qilib, yashirin qatlam koordinatalarni qanday oʻzgartirishini tushuntiradi ② CNN qatlamlari chiqishining oʻlchami va parametrlar sonini hisoblaydi ③ Softmax va kross-entropiyani hisoblaydi, CutMix da javoblar qanday aralashtirilishini tushuntiradi
Taxminiy vaqt
Oʻqish 45~55 daqiqa · amaliy namoyish 25 daqiqa · Colab amaliyoti 30 daqiqa (Kod 1 — 10 daqiqa, Kod 2 — ishga tushirish 1 daqiqa + talqin 19 daqiqa)
Uchta dars rejasi
Maʼruza, 50 daqiqa
Tushunchalarga eʼtibor
Kirish 5 daqiqa (1-boʻlim) → 2-boʻlim uch oʻlchovli rasm 15 daqiqa → 3-boʻlim oʻlchamlar jadvali 10 daqiqa → 4-boʻlim softmax kalkulyatori 10 daqiqa → 6-boʻlim CutMix 5 daqiqa → tekshiruv savollari 5 daqiqa.
Ish joyida oʻqitish (OJT), 90 daqiqa
Ishda qoʻllashga eʼtibor
2-boʻlimni oʻz maʼlumotlarimizdagi “tekislik bilan ajralmaydigan holat”ga almashtirib muhokama qilish 20 daqiqa → 3-boʻlim jadvali yordamida oʻz kirish oʻlchamimiz uchun parametrlar sonini hisoblash 15 daqiqa → 6-boʻlimdagi maʼlumotlarni kengaytirish jadvalidan oʻz rasmlarimizga mos usulni tanlash 20 daqiqa → Kod 2 ni rasmlarimiz kam boʻlgan holatga moslab ishga tushirish 35 daqiqa.
1:1 repetitorlik
Darajaga qarab surʼat
Boshlovchilar uchun faqat 1·2·4-boʻlimlar. Oʻrta darajadagilarga 3-boʻlim jadvalidagi parametrlar sonini qoʻlda qayta hisoblatib, Kod 1 dagi teskari tarqalishning uch qatorini formulalar bilan qatorma-qator solishtirtiring.
Boʻlimlar boʻyicha asosiy nuqtalar
Boʻlim
Toʻxtab beriladigan savol
Boshqaruv maslahati
1 Muammo
“Mushuk va kuchukchaning umumiy jihati nima?”
Rasmdagi 6/49 qayerdan kelganini avval soʻraymiz
2 Nega qatlamlar qoʻyiladi
“Tekislikni qayerga qoʻymaylik, nega bir tomoni kesilib qoladi?”
① → ② → ③ tartibida bosib, rasmni aylantiramiz
3 CNN tuzilishi
“Pooling qatlamida oʻrganiladigan sonlar nechta?”
Jadvaldagi oʻlcham va parametr ustunlarini yuqoridan pastga qarab koʻrsatib chiqamiz
4 Ehtimollik
“Ballar teng boʻlsa, ehtimollik qancha boʻladi?”
Softmax kalkulyatorida ikki ballni tenglashtiramiz
5 Mushuk vs kuchukcha
“Faqat jun rangiga qarab ajratsak, nima muammo chiqadi?”
Juftlik taqqoslashidagi qirra kuchi va ruxsat 7 ni koʻramiz
6 Maʼlumotlarni kengaytirish
“Mushuk boʻlagi 10 katak boʻlsa, toʻgʻri javob qanday boʻladi?”
k slayderini 1 → 15 ga surib, javob ustunlarini kuzatamiz
Keng tarqalgan notoʻgʻri tushunchalar Top 5
Notoʻgʻri tushuncha
Toʻgʻri tushuntirish
Koʻrsatiladigan joy
Qatlamlarni qoʻyishning oʻzi egri chegara hosil qiladi
Siniq funksiya (aktivatsiya) boʻlmasa, qatlamlar qancha qoʻyilmasin, natija bitta tekislik bilan bir xil
2-boʻlim tekshiruv savoli Q3
SVM chiziqli boʻlmagan tasniflashni bajara olmaydi
Yadroli SVM egri chegara hosil qiladi. Faqat yadroni odam tanlaydi
2-boʻlimdagi ② va Kod 1 dagi RBF natijasi
Softmax ehtimolligi = toʻgʻri topish ehtimoli
Bu faqat modelning ishonchi, haqiqiy toʻgʻri javoblar ulushidan farq qilishi mumkin (kalibrlash muammosi)
CNN oʻrganiladigan sonlari koʻp boʻlgani uchun yaxshi ishlaydi
Bir xil filtrni qayta-qayta ishlatgani uchun toʻliq bogʻlangan tarmoqdan ancha kam
3-boʻlim jadvalidagi 29,858
Maʼlumotlarni kengaytirish faqat rasmlar sonini koʻpaytiradi
Bu nimaga qarash kerakligini oʻrgatadigan regulyarizatsiya. Javoblarni aralashtiradigan usullar ham bor
6-boʻlimdagi maʼlumotlarni kengaytirish jadvali va Kod 2
Tekshiruv savollari (izohni ochish uchun bosing)
Q1. Nuqtalar markaz va atrof boʻylab chigallashib joylashganda chiziqli SVM nega ojiz qoladi?
Chegara bitta tekislik (2 oʻlchovda toʻgʻri chiziq) boʻlgani uchun, uni qaysi yoʻnalishda qoʻymaylik, atrofdagi guruhni ikkiga boʻlib yuboradi. Kod 1 da natija 57.7% boʻlgan edi.
Q2. 16 kanalli belgilar xaritasini 3 × 3 oʻlchamli 32 ta filtr bilan qayta ishlaydigan konvolyutsiya qatlamining parametrlari soni qancha?
3 × 3 × 16 × 32 + 32 (siljish) = 4,640 ta.
Q3. Ballar z = (2.0, 2.0) boʻlganda softmax ehtimolliklari qanday va toʻgʻri javob birinchisi boʻlsa, kross-entropiya qancha?
Q5. Kod 2 da CutMix test aniqligini oshirdi. Nega oʻqitish aniqligi ikkala holatda ham 100% edi?
Oʻqitish rasmlari atigi 200 ta boʻlgani uchun ikkala model ham oʻqitish rasmlarining hammasini toʻgʻri topa oladi. Farq ilk bor koʻrilayotgan test rasmlarida yuzaga chiqadi (ortiqcha moslashish darajasi).
Colab topshiriqlari
Asosiy
Kod 1 da yashirin neyronlar sonini 1, 2, 3, 8 ga oʻzgartirib, aniqlikni jadvalga yozing; nechta neyrondan boshlab markaz va atrofni ajratish mumkinligini va buning sababini yozing.
Murakkab
Kod 2 dagi PER_CLASS ni 10, 20, 50, 100 ga oʻzgartirib, CutMix samarasi (test aniqligidagi farq) rasmlar soniga qarab qanday oʻzgarishini 3 xil tasodifiy urugʻ (seed) bilan tekshirib, hisobot bering.
Qiyinlikni moslash va qoʻshimcha oʻrganish
Yangi boshlovchilar
3-boʻlim jadvali va 4-boʻlim formulalarini oʻtkazib yuborsa boʻladi. 2-boʻlimdagi uch oʻlchovli rasm va 6-boʻlimdagi CutMix amaliyotini esa albatta bajarib koʻring
Chuqurlashtirilgan
Mixup va CutMix ni Kod 2 ga qoʻshib solishtirishni, javoblarni aralashtiradigan kengaytirish modelning ishonchini (softmax maksimumini) qanday oʻzgartirishini taqdimot qilishni topshiring
Qoʻshimcha oʻrganish
3-3 Tasvirlar va CNN · 4-4 Chixuaxua vs maffin (yuqori darajali belgilar va modelning cheklovlari)
