3-5 Matn — harflar sonli vektorga aylanguncha | Chuqur oʻrganish: A dan Z gacha

1Unicode

Unicode — har bir belgiga berilgan raqam va baytlar

Hangul boʻgʻini raqami = 0xAC00 + (boshlangʻich × 21 + oʻrta) × 28 + oxirgiUnicode standarti, 3.12-boʻlim

Namuna gap

2Tokenlarga boʻlish

Tokenlarga boʻlish — harf ham emas, soʻz ham emas, "tez-tez uchraydigan boʻlaklar"

Belgilar boʻyicha boʻlinsa, tokenlar juda koʻpayib ketadi; soʻzlar boʻyicha boʻlinsa, ilgari koʻrilmagan soʻzlar bilan ishlab boʻlmaydi. BPE korpusda eng koʻp yonma-yon keladigan ikki boʻlakni bittaga birlashtirishni takrorlab, oʻrta yoʻlni topadi.

Birlashtirishlar soni

Gap

3Token raqamlari

Token raqamlari — lugʻatning nechanchi katagi?

BPE bilan 60 marta birlashtirgandan soʻng korpusda uchraydigan tokenlar yigʻilsa, lugʻat hosil boʻladi. Har bir tokenga lugʻatdagi katak raqami beriladi. Lugʻatda yoʻq token "nomaʼlum" raqamini oladi.

Gap

4Embedding

Embedding — raqamni "maʼno tashiydigan koordinata"ga aylantirish

54 va 55 raqamlari qoʻshni, lekin maʼnolari bir-biriga mutlaqo bogʻliq emas. Shuning uchun har bir raqamga bir necha katakli vektor biriktiriladi. Maqsad — oʻxshash qoʻllanadigan soʻzlarga yaqin koordinatalar berish. Bu yerda "bir gap ichida ±2 pozitsiya oraligʻida birga kelish soni" asosida 55 ta soʻzning har biri uchun 8 katakli vektor tuzdik.

Soʻz

Yangi boshlovchilar uchun izoh

"Birga keladigan soʻzlari oʻxshash boʻlsa, maʼnosi ham oʻxshash" degan gʻoya ancha eski. Soʻz va hujjatlarning uchrash jadvalini singular yoyilma bilan qisqartirib, yashirin maʼno tuzilmasini topadigan latent semantik tahlil (LSA) — dastlabki usullarning tipik namunasi [R2]. Bu sahifa soʻzlarning birga kelish soni jadvaliga log(1 + son) ni qoʻllab, xos qiymatlar boʻyicha yoyilma orqali 8 ta katakni ajratib oldi. Bugungi til modellari embeddingni keyingi tokenni topish oʻqitishining bir qismi sifatida birga oʻrganadi. 5-boʻlimdagi pozitsiya maʼlumoti ham shu vektorga qoʻshiladi.

5Pozitsiya maʼlumoti

Pozitsiya maʼlumoti — tokenlar xaltasi tartibni bilmaydi

Tokenlarni tartibsiz xaltaga solib sanasak (tokenlar xaltasi), tartib yoʻqoladi. Koreys tilida qoʻshimchalar (josa) soʻzning rolini bildirgani uchun soʻz tartibi oʻzgarsa ham maʼno koʻpincha oʻzgarmaydi, lekin har doim ham emas.

Solishtirish

6Model ishlovi

Model qanday ishlaydi — keyingi token ehtimolligi

Matn → token → raqam → vektor (+pozitsiya) → Transformer (3-8) → keyingi token ehtimolligi. Eng sodda til modeli faqat bevosita oldingi soʻzga qarab, keyingi soʻzni sanaydi. Shu korpusda oʻzimiz hisoblab koʻramiz va Transformer bunga yana nima qoʻshishini koʻramiz.

Oldingi soʻz

Colab kodi — bu sahifani oʻzingiz ishga tushirib koʻring

Ikkala kod ham faqat Colabda oldindan oʻrnatilgan kutubxonalardan foydalanadi. “Notebook (.ipynb) yuklab olish” tugmasini bosib, Colabda Fayl → Notebookni yuklash orqali oching yoki nusxalab, yangi notebook katagiga joylashtiring.

Kod 1 · Harflar songa aylanguncha — Unicode, token, raqam, embedding1–6-boʻlimlar bilan bogʻliq · numpy, matplotlib · CPU 1 soniya

Unicode·UTF-8, hangul jamo formulasi, BPE ni oʻrganish va qoʻllash, token raqamlari, birga kelish soni asosidagi embedding va bevosita oldingi soʻz ehtimolligini kutubxonalarsiz hisoblaydi. Oʻz maʼlumotlaringizga moslash uchun CORPUS ni oʻzgartiring.

Natija (2026-10-03 da ishga tushirilgan, Python 3.12 · numpy 2.4 · CPU). Hisoblashda tasodifiy sonlar yoʻq, shuning uchun qachon ishga tushirsangiz ham natija bir xil.

Kod 2 · scikit-learn bilan xuddi shu oqim — token raqamlari, gap vektorlari, oʻxshash gaplar2·3·4-boʻlimlar bilan bogʻliq · numpy, scikit-learn · CPU 1 soniya

Amaliy kutubxona yordamida gaplarni "gap × token" matritsasiga aylantiradi, soʻz birligi va belgi boʻlagi birligini solishtiradi hamda TF-IDF va latent semantik tahlil yordamida oʻxshash gaplarni topadi.

Natija (2026-10-03 da ishga tushirilgan, scikit-learn 1.8 · numpy 2.4 · CPU). TruncatedSVD uchun seed 0 qilib belgilangan.

AI uchun amaliy promptlar — bu kodni boshlangʻich nuqta qilib olish

ChatGPT, Qwen, Claude kabi AI yordamchilarga joylashtiriladigan promptlar. “Nusxalash” tugmasi bosilganda prompt ortidan tanlangan kod ham qoʻshiladi. 〔〕 ichidagini oʻz vaziyatingizga moslab yozsangiz boʻladi.

Birga qoʻshiladigan kod

AI javobi faqat boshlangʻich nuqta. Taklif qilingan maqolalar, raqamlar va kutubxona funksiyalarini albatta asl manba va rasmiy hujjatlar orqali tekshiring. Tanlov yoki maqola uchun AI yordamidan foydalangan boʻlsangiz, tashkilotchilar va jurnal qoidalariga koʻra foydalanish faktini va koʻlamini maʼlum qiling.

Atamalar lugʻati

Bu matndagi sariq punktir tagchiziqlar bilan bir xil lugʻat. Butun turkumda bir xil yozuv ishlatiladi. Boʻlim nomini bossangiz, atama birinchi uchragan joyga oʻtasiz.

Oʻxshatishlar toʻplami — va oʻxshatish xato boʻladigan joylar

Oʻxshatish tushunishning birinchi qadami, lekin notoʻgʻri tushunchaning urugʻi ham boʻlishi mumkin. Drozofila va miya oʻxshatishlariga kuch darajasi belgilangan. Bevosita haqiqatan ham bir xil ishni bajarishiga dalil bor · Qisman faqat ayrim xususiyatlari oʻxshash · Yoʻq mos keladigan narsa maʼlum emas

Tushuncha	Kundalik hayotdan oʻxshatish	Drozofila va miya oʻxshatishi	Oʻxshatish xato boʻladigan joy
Unicode	Dunyodagi barcha belgilarga berilgan shaxsiy identifikatsiya raqami	Yoʻq	Raqam faqat belgilarni farqlaydi, belgilar bir-biriga qanchalik oʻxshashligini aytmaydi
BPE	Tez-tez birga ishlatiladigan soʻzlardan qisqartma yasash ("초파리" bitta boʻlak boʻladi)	Yoʻq	Qisqartmani odam maʼnosiga qarab yasaydi, BPE esa faqat sonlarga qarab birlashtiradi. Maʼnoga aloqasi yoʻq boʻlaklar ham paydo boʻladi
Token raqami	Kutubxona kitobining shifr raqami	Yoʻq	Shifr raqamlari mavzu boʻyicha guruhlanadi, token raqamlari esa shunchaki alifbo tartibi yoki paydo boʻlish tartibi
Embedding	Xaritadagi koordinatalar: yaqin mahallalar bir-biriga oʻxshaydi	Qisman Drozofilaning qoʻziqorinsimon tanasi hidni koʻplab Kenyon hujayralarining faollik namunasi (vektor) bilan ifodalaydi	Qoʻziqorinsimon tana hidni keng yoyib, farqlashni osonlashtiradi (siyrak), embedding esa uni bir necha yuz katakka zich joylaydi. Hosil qilish usuli ham boshqacha
Tokenlar xaltasi	Gapni soʻz kartochkalariga kesib, konvertga solish	Yoʻq	Konvertdan kartochkalarni chiqarsangiz ham asl tartibni bilib boʻlmaydi. Koreys tilida qoʻshimcha (josa) kartochkalari qisman ishora beradi
Keyingi token ehtimolligi	Soʻz oʻyinida keyingi soʻzni taxmin qilish	Qisman Miya ham keyingi keladigan nutq tovushlarini oldindan bashorat qiladi degan tadqiqotlar bor	Miyaning bashorati maʼno, vaziyat va tana tajribasi bilan chambarchas bogʻliq. Model esa faqat belgi boʻlaklari statistikasi asosida hisoblaydi

Muallif haqida va manbalar

E-1 Muallif haqida · E-2 Ilmiy manbalar · E-3 Rasmlar uchun manbalar

E-1 Muallif haqida

Sangsun Ahn (M-Robo MChJ rahbari)

Koreya elektr xavfsizligi korporatsiyasi va Maeil Business Newspaper gazetasida ishlagan, hozirda Maeil Business Newspaperning tashqi venchur kompaniyasi M-Robo MChJni tashkil etib, uning rahbari lavozimida ishlamoqda. M-Robo MChJ ommaviy axborot vositasi ichidagi venchur loyiha sifatida boshlangan media-venchur boʻlib, Kukmin Ilbo gazetasiga robot-jurnalist (StockBot) xizmatini koʻrsatgan, Koreya internet va xavfsizlik agentligi, Koreya matbuot fondi, Koreya radiochastota agentligi va boshqa tashkilotlarda koʻplab loyihalarni amalga oshirgan. Hozirda oʻzining A.I yangiliklar gazetasi Money-Roboni yuritmoqda. Rahbarlik davrida Osiyo ochiq maʼlumotlar xakatonida gʻolib boʻlgan, maʼlumotlarga asoslangan tadbirkorlik sohasidagi xizmatlari uchun Koreya Ichki ishlar va xavfsizlik vazirining mukofotini 2 marta olgan, sunʼiy intellekt va blokcheyn sohalarida 5 ta patentning ixtirochisi va egasi. “AI jinoyatlari va oʻzini himoya qilish” kitobining muallifi, Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim institutida fintex, statistika va sunʼiy intellekt boʻyicha elektron taʼlim kontentini ishlab chiqqan. Eng yuqori ilmiy darajasi — iqtisodiyot fanlari doktori (Dongguk universiteti, mikro-matematik iqtisodiyot). Kukmin universiteti, Hoseo universiteti va boshqa koʻplab universitetlarda maʼlumotlar va sunʼiy intellektga oid fanlardan dars bermoqda. Batafsil profil

Maʼruzalar

Sangsun Ahn (2025). «Biznes uchun maʼlumotlar fani» maʼruzalar matni. Koreya ochiq kiberuniversiteti, sunʼiy intellekt integratsiyasi kafedrasi.
Sangsun Ahn (2025). [K-Digital] Sunʼiy intellekt yordamida tabiiy tilni qayta ishlash. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.
Sangsun Ahn (2024). [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari. STEP (aqlli kasbiy taʼlim platformasi), Koreya texnologiya va taʼlim universiteti onlayn uzluksiz taʼlim instituti.

STEP maʼruzalariga havolalar: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Sayt yangilanishi sababli ochilishda muammo boʻlsa, www.step.or.kr orqali kiring.

Maqolalar va maʼruzalar

Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt modellariga asoslangan yondashuv. «Kelajak jamiyati», 16(2). Asl matn
Sangsun Ahn (2025). Milliy keksalik taʼminoti panel maʼlumotlaridan foydalanib uy xoʻjaligi xarajatlarini bashorat qilish modeli tadqiqoti: sunʼiy intellekt yondashuvi. Milliy keksalik taʼminoti paneli ilmiy konferensiyasi maʼruza materiallari (2025.05.13), Milliy pensiya xizmati, Milliy pensiya tadqiqot instituti. Maʼruza materiallari
Sangsun Ahn (2025). SNS matnlari asosida shubhali giyohvand moddalar savdosini aniqlash algoritmi tadqiqoti: naqsh va kontekst tahlili asosida. «Kelajak jamiyati», 16(1). Asl matn
Sangsun Ahn (2024). Moliya sohasidagi anomaliyalarni aniqlash modellari xavfsizligi uchun statistikaga asoslangan raqib maʼlumotlarga qarshi choralar: empirik tahlil va simulyatsiya natijalari. «Kelajak jamiyati», 15(3). Asl matn
Sangsun Ahn (2024). Sunʼiy intellekt yordamida virtual personaj xususiyatlariga asoslangan SNS postlarini aniqlash yechimi. 2024 Summer Newmedia Party poster maʼruzasi (2024.06.19), Seul media oliy maktabi universiteti.
Sangsun Ahn (2024). Ishlab chiqarishdagi baxtsiz hodisalar panel maʼlumotlaridan foydalangan mashinali oʻrganish modeli. 10-ishlab chiqarishdagi baxtsiz hodisalar sugʻurtasi paneli ilmiy konferensiyasi poster maʼruzasi (2024.05.17), Koreya mehnat farovonligi korporatsiyasi, Mehnat farovonligi tadqiqot instituti.
Sangsun Ahn (2024). Virtual aktivlar vaqt qatorlari maʼlumotlarini tahlil qilish va bashorat qilish: vaqt qatorlari modellari va sunʼiy intellekt modellarini taqqoslash, takomillashtirish takliflari. «Kelajak jamiyati», 15(1). Asl matn

E-2 Ilmiy manbalar

[R1] Sennrich, R., Haddow, B., & Birch, A. (2016). Neural machine translation of rare words with subword units. Proceedings of the 54th Annual Meeting of the ACL, 1715–1725. doi:10.18653/v1/P16-1162 — 2-boʻlim (BPE bilan tokenlarga boʻlish)
[R2] Deerwester, S., Dumais, S. T., Furnas, G. W., Landauer, T. K., & Harshman, R. (1990). Indexing by latent semantic analysis. Journal of the American Society for Information Science, 41(6), 391–407. doi:10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9 — 4-boʻlim, Kod 2 (latent semantik tahlil)
[R3] The Unicode Consortium. The Unicode Standard, 3.12-boʻlim Conjoining Jamo Behavior (hangul boʻgʻinlarini tuzish va ajratish formulasi). unicode.org — 1-boʻlim

E-3 Korpus va rasmlar uchun maʼlumotnoma

Korpus 36 ta gapdan iborat namuna
Raqamlar Kod 1 dagi hisoblash bilan bir xil

Oʻqituvchilar uchun maslahatlar

Oʻqituvchilar, ish joyidagi OJT masʼullari va tyutorlar uchun mashgʻulot yoʻriqnomasi. Vaqtlar taxminiy, shuning uchun haqiqiy darsga moslab oʻzgartiring.

Auditoriya	Mijozlar murojaatlari, sharhlar, hujjatlar kabi matnli maʼlumotlar bilan ishlamoqchi boʻlgan talabalar va amaliyotchilar. Til modeli matnni qanday qabul qilishiga qiziquvchilar
Talab qilinadigan bilimlar	Vektor va kosinus oʻxshashligi tushunchasi. 3-8 dagi pozitsiya maʼlumotini bilsangiz, 5·6-boʻlimlar oson boʻladi
Oʻquv maqsadlari	① Belgi → Unicode → bayt jarayonini tushuntira oladi ② BPE token lugʻatini qanday tuzishi va yangi soʻzlar bilan qanday ishlashini tushuntira oladi ③ Raqam, embedding va pozitsiya maʼlumoti har biri nima uchun kerakligini tushuntira oladi
Taxminiy vaqt	Oʻqish 35–45 daqiqa · namoyish 20 daqiqa · Colab amaliyoti 25 daqiqa (Kod 1 — 15 daqiqa, Kod 2 — 10 daqiqa)

Uch xil mashgʻulot rejasi

Maʼruza shakli, 50 daqiqa

Tushunchalarga yoʻnaltirilgan

Kirish 5 daqiqa (1-boʻlim, emoji 4 bayt) → 2-boʻlim BPE 15 daqiqa → 3·4-boʻlimlar 15 daqiqa → 5-boʻlim dog bites man 5 daqiqa → 6-boʻlim 5 daqiqa → tekshiruv savollari 5 daqiqa.

Ish joyidagi OJT, 90 daqiqa

Ishga tatbiq etishga yoʻnaltirilgan

Jamoangiz hujjatlaridan 30 ta gapli korpus tuzish 15 daqiqa → Kod 1 dagi CORPUS ni almashtirib, BPE va embeddingni qayta hisoblash 30 daqiqa → Kod 2 bilan oʻxshash murojaatlarni topish 25 daqiqa → "nomaʼlum" token va shaxsiy maʼlumotlarga ishlov berish boʻyicha munozara 20 daqiqa.

1:1 tyutorlik

Darajaga qarab suʼrat

Boshlovchilar uchun faqat 1·2·4-boʻlimlar. Oʻrta darajadagilarga BPE birlashtirishni uch marta qoʻlda bajartiring (soʻz chastotasini sanash → eng koʻp uchraydigan juftni topish), soʻng 2-boʻlimdagi qoidalar roʻyxati bilan solishtiring.

Boʻlimlar boʻyicha asosiy jihatlar

Boʻlim	Toʻxtab beriladigan savol	Boshqaruv boʻyicha maslahat
1 Unicode	"Belgilar soni bir xil boʻlsa ham, saqlash hajmi nega har xil?"	Koreyscha gap → "Hello 초파리" → emoji bor gap tartibida
2 Tokenlarga boʻlish	"Nega birinchi boʻlib '한다' qoʻshimchasi birlashdi?"	0 → 60 marta, soʻng yangi soʻz bor gap
3 Token raqamlari	"54 ning 5 dan kattaligi biror maʼno anglatadimi?"	"AI가 꽃을 본다" gapidagi "nomaʼlum" tokenni koʻrsatib oʻting
4 Embedding	"'Hasharot' tushunchasini hech oʻrgatmagan boʻlsak ham, nega hasharotlar bir joyga toʻplandi?"	초파리는 → 신경망은 tartibida qoʻshnilarning tabiatini solishtiring
5 Pozitsiya maʼlumoti	"Koreys tilida soʻz tartibi erkin boʻlsa, pozitsiya maʼlumoti nega kerak?"	Uchta solishtirishni navbat bilan bosing
6 Model ishlovi	"Faqat bitta oldingi soʻzga qaraydigan modelning zaif tomoni nima?"	"초파리는" va "꿀벌은" soʻzlaridan keyingi ehtimolliklarni solishtiring

Eng koʻp uchraydigan 5 ta notoʻgʻri tushuncha

Notoʻgʻri tushuncha	Toʻgʻri tushuntirish	Koʻrsatiladigan sahna
Token = soʻz	Token — korpusga qarab belgilanadigan boʻlak. U belgi ham, soʻz ham yoki ularning oraligʻidagi narsa ham boʻlishi mumkin	2-boʻlim
Bitta hangul belgisi 1 bayt	UTF-8 da hangul boʻgʻini 3 bayt	1-boʻlim
Token raqamlari yaqin boʻlsa, maʼnolari ham yaqin	Raqam — faqat lugʻatdagi katak oʻrni. Maʼno embeddingda saqlanadi	3·4-boʻlimlar
Embeddinglar yaqin boʻlsa, ular sinonim	Birga ishlatiladigan soʻzlar ham yaqinlashadi. "Oʻxshashlik"ning maʼnosi uni hosil qilish usuliga bogʻliq	4-boʻlim, "신경망은"
Model matnni inson kabi tushunadi	Raqamlar va vektorlar orqali keyingi token ehtimolligini hisoblaydi. Tushunadimi yoki yoʻqmi — alohida koʻrib chiqiladigan masala	6-boʻlim

Tekshiruv savollari (izohni ochish uchun bosing)

Q1. "가" ning Unicode raqami 0xAC00. Boshlangʻich ㄱ(0), oʻrta ㅏ(0), oxirgi ㄱ(1) boʻlgan "각" ning raqami qancha?

0xAC00 + (0 × 21 + 0) × 28 + 1 = 0xAC01.

Q2. "초파리 🙂" (boʻsh joy bilan 5 ta belgi) UTF-8 da saqlansa, necha bayt boʻladi?

3 ta hangul belgisi × 3 + boʻsh joy 1 + emoji 4 = 14 bayt.

Q3. BPE da "eng koʻp yonma-yon keladigan juft" deganda nima sanaladi?

Korpusdagi barcha soʻzlarda qoʻshni ikki boʻlakdan iborat juftlar oʻsha soʻz necha marta uchrasa, shuncha marta sanalib qoʻshiladi. Eng katta qiymatli juft bittaga birlashtiriladi.

Q4. Yangi soʻz "초파리들이" ("drozofilalar") soʻz birligida va BPE birligida qanday ishlanadi?

Soʻz birligida u lugʻatda yoʻqligi sababli butunlay "nomaʼlum" boʻladi. BPE da esa ["초파리", "들", "이"] kabi maʼlum boʻlaklarga ajraladi.

Q5. "dog bites man" va "man bites dog" tokenlar xaltasi bilan qanday ifodalanadi? Nima kerak?

Ikkalasi ham {dog:1, bites:1, man:1} — bir xil. Tartibni farqlash uchun pozitsiya maʼlumoti kerak.

Colab topshiriqlari

Asosiy

Kod 1 dagi CORPUS ga "나비는 꽃을 좋아한다" ("kapalak gullarni yaxshi koʻradi") va "나비는 날개가 있다" ("kapalakning qanoti bor") gaplarini qoʻshib, qayta ishga tushiring. "나비는" ga eng yaqin soʻzlarni tekshiring va sababini 4-boʻlimdagi tushuntirish bilan bogʻlab yozing.

Murakkab

Kod 1 dagi bpe_train da birlashtirishlar sonini 10·30·60·100 qilib oʻzgartirib, lugʻat hajmi va har bir gapga toʻgʻri keladigan oʻrtacha tokenlar sonini jadvalga yozing. Lugʻat hajmi bilan tokenlar soni oʻrtasidagi murosani tushuntiring va ish hujjatlari uchun qaysi qiymatni tanlashingizni asoslab yozing.

Qiyinlikni moslashtirish va qoʻshimcha oʻrganish

Yangi boshlovchilar	1-boʻlimdagi jamo formulasi va 3-boʻlimni tashlab ketsangiz ham, mazmun uzilmaydi
Chuqurlashtirilgan	BPE dan boshqa tokenlarga boʻlish usullarini (unigram til modeli, morfologik tahlilchiga asoslangan) oʻrganib, solishtirishni topshiring. Oʻrganilgan maqolalarni asl manbada tekshiring
Qoʻshimcha oʻrganish	Sangsun Ahn, «Biznes uchun maʼlumotlar fani» maʼruza materiallari (maʼlumotlar fani umuman) · STEP [K-Digital] Sunʼiy intellekt bilan tabiiy tilni qayta ishlash (shu qism bilan bevosita bogʻliq) · STEP [K-Digital] Fintex maʼlumotlarini tahlil qilish asoslari (3-6 bilan bogʻliq)
Oʻqituvchilar uchun materiallar	Tekshiruv savollarini baholash mezonlari va topshiriqlarning namunaviy javoblarini Oʻqituvchilar uchun javoblar sahifasida (3-5) koʻrishingiz mumkin