Лещ vs корюшка — переменные и признаки: в чём разница?
49 рыб попадают в компьютер как две именованные переменные — длина и масса, а фотография — как 784 безымянных пикселя. Сначала мы положим два набора данных рядом и увидим, как «поиск правила по одной переменной» работает для рыб, но на фотографиях выбирает случайную клетку. Затем на рыбах разберём базовые инструменты классификации (правило, прямая перцептрона·SVM, расстояние k-NN и стандартизация) и перейдём к тому, почему фотографиям нужны признаки, находящие паттерны.
Автор · Сансун Ан (генеральный директор M-Robo Inc.) · Об авторе
2 против 784переменных у рыбы против пикселей в фото 28 × 28
130.95gпорог массы, найденный деревом решений
92.5 → 81.3%пиксельное правило: обучающие → новые фото
86 против 98%рукописные 3 vs 8: правило одного пикселя против взвешенной суммы 64 клеток
2кода, запускаемых прямо в Colab
1Задача
Числа в таблице и числа в фотографии — в чём разница?
49 рыб попадают в компьютер как два числа — длина и масса, а фотография — как тысячи пиксельных чисел. И то и другое — числа. Почему же классифицировать фотографии намного труднее?
1Две рыбы и два числа
Нужно разделить 49 рыб, привезённых с рынка (35 лещей и 14 корюшек). Компьютеру мы можем дать длину, измеренную линейкой, и массу, измеренную на весах.
А что будет, если сделать то же самое с фотографиями? Даже если уменьшить фото чихуахуа и маффина до крошечного чёрно-белого квадрата 28 на 28 клеток, на одно фото придётся 784 числа. Для цветного 224 × 224 — 150,528.
Есть отличие важнее, чем количество чисел. «Длина 25.4 см» имеет смысл сама по себе, а «яркость 187 в 412-й клетке» сама по себе ничего не значит. Этот выпуск сначала показывает именно эту разницу — между переменной (клеткой с именем и смыслом) и признаком (паттерном, который создают несколько клеток вместе), затем на рыбах разбирает базовые инструменты классификации (правило, прямая, расстояние) и переходит к тому, почему для фотографий нужен другой подход.
Объяснение для начинающих
Данные о рыбах — реальные измерения (из датасета Kaggle Fish Market отобраны только лещи и корюшки [R1]). Лещ высокий и крупный, корюшка тонкая и маленькая, и эта разница прямо отражается в числах длины и массы. Поэтому рыбы — это простая классификация, и если положить её рядом с фотографиями, становится ясно, «что делает классификацию фотографий трудной».
2Переменная vs признак
Переменная vs признак — клетки с именем и без имени
Сначала сравним выводы бок о бок. Для рыб одной переменной хватает, чтобы составить правило в одну строку, а на фотографиях тот же метод выбирает случайную клетку. Смысл в фотографии возникает не в клетке, а в расположении многих клеток, то есть в признаке.
1Переменная и признак · сравнение по одним критериям
Переменная (variable)
Признак (feature)
Смысл
Измеренное значение с именем и единицей измерения
Число, кратко описывающее паттерн, который создают несколько значений вместе
Пример
длина 25.4 см, масса 242 г
«три тёмные точки треугольником», «острая граница сверху»
Кто создаёт
Человек решает, что измерять, и измеряет
Фильтр или нейросеть вычисляет либо выучивает его из исходных данных (пикселей)
Смысл одной клетки
Есть
В одной клетке (пикселе) исходных данных его нет. Он в расположении
Подходящие методы
Правила (дерево решений), линейные модели, k-NN
Модели, ищущие паттерны, например свёрточная нейросеть (CNN)
Объяснимость
Легко: «потому что масса больше 131 г»
Трудно: нужно отдельно разбираться, на что смотрит выученный фильтр
В машинном обучении и то и другое часто называют «признаками». В этой серии, чтобы чётко различать их, мы называем измеренные значения с именами, данными человеком, переменными, а паттерны, найденные в расположении исходных данных, — признаками.
2Практика бок о бок · поиск правила по переменной vs поиск паттерна по признакам
Слева (на мобильном — сверху) рыбы, справа (снизу) фотографии. Сначала для обоих наборов найдём правило вида «если переменная > порог, то этот класс». Для рыб на этом всё, а на фотографиях правило выбирает случайную клетку. Поэтому для фотографий мы смотрим на паттерны в карте признаков, построенной фильтром. Правила и паттерны ищутся на 80 «обучающих» фото, а проверяются на 80 «новых фото», не использованных при обучении.
Рыбы · переменная → правило
У каждой переменной есть имя и смысл, поэтому хватает одного правила, понятного человеку.
Переменная
Фото · пиксели → паттерн
① Тем же способом ищем правило «пиксель > порог» по всем 784 клеткам.
Нажмите кнопку, чтобы найти пиксельное правило с наилучшей точностью.
② Строим фильтром карты признаков и кратко описываем паттерн по всей карте.
Пример
ФотоКарта тёмных местКарта верхней границы
Цвет точек и рыбок: ● лещ·чихуахуа ● корюшка·маффин. Два фильтра справа в ② (поиск тёмных мест и поиск границ) выбраны человеком для этого сравнения. CNN выучивает из данных десятки–сотни таких фильтров и комбинирует их (4-2·4-3). «Новые фото» получены из тех же 12 снимков, но с другим сдвигом и яркостью, чем обучающие, поэтому такой тест проще, чем проверка на совсем других фотографиях. На реальных фото двух паттернов вряд ли хватит для 100%.
3Пояснение
Клетки данных о рыбах — это переменные с именем и смыслом. В одной переменной «длина» уже заключена разница между лещом и корюшкой, поэтому одно правило «если длина > порога, то лещ» верно классифицирует все 49 рыб. Такое правило человек может прочитать и объяснить, и это область, где сильны модели на правилах вроде дерева решений. Отчасти это заслуга человека, который удачно выбрал, «что измерять».
Клетки фотографии (пиксели) формально тоже переменные, но у них нет ни имени, ни смысла. Если искать правило тем же способом, компьютер выбирает среди 784 клеток ту, что случайно подошла лучше всего, — часто клетку фона у края, — и на незнакомых фото точность падает. Смысл в фотографии возникает не в одной клетке, а в паттерне, который создают несколько клеток вместе (сколько тёмных точек, где и какой формы). Поэтому если построить фильтром карту признаков и кратко описать паттерн по всей карте, точность хорошая и на новых фото.
Итак, в обоих случаях решение «принимается по признакам». Разница в другом: подготовил ли признаки человек, дав им имена (переменная → правило), или их нужно найти в расположении многих клеток (пиксели → паттерн). Для табличных данных тоже используют модели не на правилах, например логистическую регрессию, а к признакам фотографий можно применять правила, так что это противопоставление стоит понимать как тенденцию: «что лучше работает на каких данных».
Тогда, может, использовать все 784 клетки? Чем больше клеток, тем больше способов разделить данные, но большинство клеток бессмысленны, и проблема не исчезает. В 4-2 мы познакомимся с фильтрами, ищущими паттерны, а в 4-3 взглянем на эту проблему как на «разделение плоскостью».
Объяснение для начинающих
Нажмите «Найти правило автоматически» слева для рыб и «Найти пиксельное правило автоматически» справа для фото. Правило для рыб верно классифицирует все 49 рыб и понятно человеку. Правило для фото выбирает из 784 клеток клетку фона в углу снимка, и на незнакомых фото точность падает. Чтобы разделить фотографии, нужно, как в ② справа, построить фильтром карты признаков и описать паттерн. Это противопоставление — отправная точка всей серии.
3Признаки·метки
Устройство таблицы — образец, признаки, целевое значение
Одна строка — один образец, числовые столбцы — признаки, столбец ответа — целевое значение. Таблица рыб и таблица фото отличаются лишь числом столбцов и смыслом одного столбца.
1Определение
Данные, на которых учится модель классификации, — это всегда таблица одной и той же формы. Одна строка — один образец, и в каждой строке несколько числовых столбцов — признаков (feature) — и один столбец целевого значения (метка, правильный ответ). В классификации рыб одна строка — одна рыба, признаки — 2 столбца, длина и масса, а целевое значение — «лещ» или «корюшка». С фотографиями то же самое: одна строка — одно фото, признаки — пиксельные числа (подробно в 4-2), выстроенные в одну строку, а целевое значение — «чихуахуа» или «маффин».
Таблица рыб2 столбца признаков (длина, масса)
Таблица фото (ч/б 28 × 28)784 столбца признаков
Целевое значениев обоих случаях один столбец, 0 или 1
Проще говоряэто как бланк медосмотра. Один человек — одна строка, рост·масса тела·давление — столбцы признаков, а последний столбец «нужно ли повторное обследование» — целевое значение. Таблица рыб — короткий бланк из 2 пунктов, таблица фото — очень длинный бланк из 784 пунктов. Разница в том, есть ли у каждого пункта имя и смысл. «Длина 25.4 см» имеет смысл сама по себе, а «яркость 187 в 412-й клетке» сама по себе ничего не значит.
Рыбы: x = (длина, масса), d = 2 | Фото: x = (X[1,1], X[1,2], …, X[28,28]), d = 784Матрицу фото вытягивают в одну строку, приписывая строки одну за другой начиная с первой (выпрямление, flatten). Для цветного 56 × 56 получается d = 9,408, для цветного 224 × 224 — d = 150,528.
n
Число образцов (строк таблицы). 49 рыб, в этом разделе — 80 фото
d
Число признаков (столбцов таблицы). Размерность входного вектора
Пара (x, y)Задача и правильный ответ хранятся вместе. Только когда ответ приложен, модель может измерить, насколько ошиблась, и исправиться (обучение с учителем). Приписывание ответов называется разметкой.
ℝᵈd-мерное пространство, образованное d признаками. Один образец — одна точка в этом пространстве. Рыба — точка на плоскости, фото — точка в 784-мерном пространстве.
{0, 1}Метки-названия превращаются в числа. Какой класс обозначить 1 — лишь договорённость, на результат это не влияет.
Пробуем на числахОдин лещ: x = (25.4, 242.0), y = 1 · одна корюшка: x = (9.8, 6.7), y = 0 Одно фото чихуахуа: x = (x₁, x₂, …, x₇₈₄) = (133, 147, 148, …) — 784 числа, y = 1 Форма таблицы одинакова, отличается лишь число столбцов: 2 и 784.
3Два набора данных в таблицах бок о бок
Слева 6 из 49 рыб, справа 6 из 80 фото чихуахуа и маффинов. Фото уменьшены до 28 × 28 в оттенках серого и вытянуты в одну строку. Нажмите на строку правой таблицы, и ниже будет видно, как это фото превращается в одну строку.
Данные о рыбах: длина и масса 35 лещей (Bream) и 14 корюшек (Smelt) из датасета Kaggle Fish Market. Значения взяты без изменений из примеров кода к книге Пак Хэсона «Машинное и глубокое обучение самостоятельно» (혼자 공부하는 머신러닝+딥러닝) (лицензия MIT). Данные фото: 12 клеток изображения из выпуска 4-4 (6 чихуахуа, 6 маффинов) уменьшены до 28 × 28, и для каждого снимка со сдвигом на ±4 клетки и яркостью 70~130% сделано по 40 фото на класс.
✓Проверь себя
Q1. Что в таблице для классификации фото является целевым значением (меткой)?
Q2. Сколько столбцов признаков получится, если вытянуть цветное фото 32 × 32 в одну строку?
Q3. Для рыб правило строится по одной переменной, а правило по одному пикселю плохо работает на новых фото. Какова главная причина?
Объяснение для начинающих
Целевое значение (target) — это ответ, который нужно угадать, а приписывание ответов человеком — это разметка. Нажав на строку таблицы фото, вы увидите, как матрица 28 × 28 приписывается строка за строкой с первой и становится одной строкой из 784 столбцов (выпрямление). По форме она становится такой же, как таблица рыб, но имя и смысл каждого столбца исчезают.
4Правило и прямая
Для рыб хватает одного правила или прямой — перцептрон и SVM
Когда у переменных есть смысл, граница проста. Посмотрим, какие линии на одних и тех же рыбах проводят перцептрон, сдвигающий линию после каждой ошибки, и SVM, прокладывающий самую широкую дорогу.
1Анимированная практика · как перцептрон исправляет линию
Одна точка — одна рыба. Фиолетовая линия — текущая граница, выше и правее неё — «лещ». Перцептрон просматривает рыб по одной и сдвигает линию только при ошибке. Красный кружок — рыба, на которой только что ошибся, белый — рыба, угаданная верно.
2Формула · правило обучения перцептрона
Предсказание: ŷ = 1 if w₁z₁ + w₂z₂ + b > 0
Только при ошибке: w ← w + η · t · z, b ← b + η · t (t = +1 лещ, −1 корюшка)η (эта) — величина одного сдвига (скорость обучения). В этой практике η = 0.5. z — стандартизированные длина·масса (раздел 6).
w₁, w₂
Веса длины·массы. Задают наклон линии
b
Смещение. Задаёт положение линии
t
Знак правильного ответа. +1, если это лещ, а модель сказала «корюшка», −1 — в обратном случае
Почему такое исправление работает
w + η·t·zЕсли модель пропустила леща (t = +1), w немного поворачивается в сторону этой рыбы z. Тогда в следующий раз для той же рыбы w·z станет больше, и решение сдвинется к «лещу».
Когда остановитьсяОбучение останавливается, если за целый проход (49 рыб) не было ни одной ошибки. Доказано, что если две группы вообще разделимы одной прямой, остановка рано или поздно обязательно наступит (теорема о сходимости перцептрона).
3Практика · граница с самой широкой дорогой
Прямых, разделяющих две группы, бесконечно много. SVM выбирает из них ту, у которой пустая дорога между группами (зазор) самая широкая. Фиолетовая сплошная линия — граница, пунктирные — края дороги. Поставьте галочку, чтобы сравнить с линией, на которой остановился перцептрон (зелёный пунктир).
4Пояснение · как связаны перцептрон и SVM
У перцептрона и линейного SVM одинаковая форма границы (одна прямая, w·z + b = 0). Перцептрон останавливается, как только всё угадано, поэтому линия может пройти вплотную к одной из групп, а SVM выбирает линию, максимально удалённую от обеих групп (максимальный зазор). В коде 1 ширина зазора SVM составила 1.233 в стандартизированных единицах, а границу задали два опорных вектора: самая крупная корюшка (15.0 см, 19.9 г) и самый маленький лещ (25.4 см, 242 г).
Запомните и порядок появления: сначала перцептрон (1958), потом SVM (1990-е) [R3][R4]. Оба метода проводят одну прямую в исходных координатах, поэтому их достаточно для таблицы рыб, где у столбцов есть смысл, но в пиксельных координатах они упираются в стену (4-3).
Перцептрон умножает длину и массу на веса, складывает их и отвечает «лещ», если сумма больше 0. Обучение — это повторение шага «немного сдвинуть линию в сторону ошибочной рыбы». Если включить галочку на рисунке SVM, можно наложить линию, на которой остановился перцептрон, на линию SVM. Эта взвешенная сумма (w·x + b) снова появится в свёртке в 4-2 и в нейросети в 4-3.
5Стандартизация
Разные единицы — неверные расстояния: k-NN и стандартизация
Новая рыба (25 см, 150 г) — лещ? Метод, который спрашивает ближайших соседей, даёт противоположный ответ в зависимости от того, как измерять «близость».
1Практика · новая рыба — лещ или корюшка?
Треугольник — только что пойманная рыба (начальные значения: длина 25 см, масса 150 г). Метод k ближайших соседей проводит голосование по ответам 5 ближайших рыб. Переключайтесь между «исходными единицами» и «стандартизацией» и смотрите, как меняются соседи.
Единицы для измерения расстояния
2Формула · стандартизация
z = (x − среднее) / стандартное отклонение
Длина: среднее 27.06 см, стандартное отклонение 10.14 см | Масса: среднее 444.5 г, стандартное отклонение 324.8 г
Если измерять расстояние в исходных единицах, разница в длине 10 см и разница в массе 10 г входят в него с одинаковым весом. Но массы различаются на сотни граммов, поэтому расстояние почти целиком определяет масса. В итоге даже новая рыба длиной 25 см из-за массы 150 г оказывается «близкой» к корюшкам (до 20 г), и 4 из 5 соседей — корюшки. После стандартизации оба признака измеряются одной меркой, и все 5 соседей становятся лещами (совпадает с результатом кода 1).
Правило (раздел 3) смотрит только на одну переменную, поэтому от единиц не зависит. А методам, которые смешивают несколько признаков, вычисляя расстояние или взвешенную сумму, — перцептрону, SVM, k-NN — единицы нужно выравнивать. В фотографиях все клетки лежат в диапазоне 0~255, так что эта проблема невелика, зато возникает другая (раздел 7).
Объяснение для начинающих
Метод k ближайших соседей (k-NN) проводит голосование по ответам k образцов, ближайших к новому [R5]. Он прост, но всё решает «расстояние», и если переменная с большими числами, как масса (г), забирает расстояние себе, метод выбирает не тех соседей. Пиксели фото все в диапазоне 0~255, так что проблема единиц невелика, но есть проблема серьёзнее: «разница чисел в одних и тех же позициях» не отражает смысла (4-2, раздел 3).
6Пиксель — переменная?
Может ли один пиксель быть переменной? — к следующему выпуску
Как далеко можно зайти, если использовать клетки фото как переменные рыб? Результаты расходятся для пар разной формы и похожих пар.
1Результат кода 2 в Colab · пиксельные правила для рукописных цифр
Пара цифр
Пиксель, выбранный правилом
Правило одного пикселя (тест)
Взвешенная сумма 64 клеток (тест)
0 против 1
(строка 5, столбец 5)
98.3%
100.0%
3 против 8
(строка 6, столбец 4)
86.0%
98.3%
4 против 9
(строка 5, столбец 2)
93.9%
98.3%
Мы представили рукописные цифры 8 × 8 как таблицу из 64 столбцов и применили правило «переменная > порог», как для рыб. Совсем непохожие 0 и 1 почти полностью разделяются даже по одному центральному пикселю (если центр пуст — это 0). Но для похожих по форме пар вроде 3 и 8 правило одного пикселя даёт лишь 86.0%, а взвешенная сумма всех 64 клеток — 98.3%.
Чем сильнее сходство формы, тем больше нужно смотреть не на одну клетку, а на форму, которую создают несколько клеток вместе. Рукописные цифры — маленькие аккуратно выровненные изображения, поэтому для них хватает взвешенной суммы, но на реальных фото, где положение, освещение и фон каждый раз разные, и взвешенная сумма не справляется (4-2, раздел 3; 4-3, раздел 2). Поэтому классификации фото нужен шаг поиска паттернов — извлечение признаков.
Объяснение для начинающих
Итак, для табличных данных, где переменные осмысленны, достаточно простых инструментов — правил, прямых, расстояний. В фотографиях у отдельной клетки нет смысла, поэтому нужны фильтры, ищущие узоры в соседних клетках, и слои, складывающие эти узоры в формы. 4-2 расскажет, как фото становится матрицей чисел и что такое фильтры, 4-3 — зачем складывать слои, а 4-4 — какие трудности остаются и после этого.
A
Код для Colab — запустите эту страницу сами
Оба кода используют только библиотеки, предустановленные в Colab, и встроенные данные. Нажмите «Скачать ноутбук (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в ячейку нового ноутбука.
Код 1 · сравниваем правило, перцептрон, SVM и k-NN на табличных данныхк разделам 4·5 · numpy, scikit-learn · CPU меньше 1 секунды
Вычисляет одно правило дерева решений, перцептрон и линейный SVM в стандартизированных координатах, а также предсказание k-NN для новой рыбы (25 см, 150 г) до и после стандартизации. Чтобы подставить свои данные, замените четыре списка в начале своими измерениями.
Результат выполнения (запуск 2026-10-04, numpy 2.4 · scikit-learn 1.8 · CPU). Случайности в расчётах почти нет, поэтому результат всегда одинаков.
Код 2 · пиксель — тоже переменная? Сравниваем правило и взвешенную сумму на рукописных цифрахк разделу 6 · numpy, scikit-learn (встроенные данные) · CPU несколько секунд
Представляет рукописные цифры 8 × 8 как таблицу из 64 столбцов и сравнивает правило одного пикселя со взвешенной суммой 64 клеток (логистическая регрессия) для пар 0 и 1, 3 и 8, 4 и 9. Чтобы подставить свои данные, измените пару цифр в compare(a, b).
Результат выполнения (запуск 2026-10-04, scikit-learn 1.8 · CPU). Если изменить random_state при разбиении данных, числа немного изменятся.
B
Промпты для ИИ — этот код как отправная точка
Промпты для вставки в ИИ-ассистента вроде ChatGPT, Qwen или Claude. При нажатии «Копировать» выбранный код добавляется после промпта. Замените текст в 〔 〕 на описание своей ситуации.
Код для вставки
Ответ ИИ — лишь отправная точка. Предложенные статьи, числа и функции библиотек обязательно проверяйте по первоисточникам и официальной документации. Если вы пользовались помощью ИИ в конкурсной работе или статье, укажите факт и объём использования по правилам организаторов или журнала.
C
Словарь терминов
Тот же словарь, что и у жёлтых пунктирных подчёркиваний в тексте. Во всей серии используются одни и те же термины. Нажмите на название раздела, чтобы перейти к месту первого упоминания.
D
Сборник аналогий — и где аналогия не работает
Аналогия — первый шаг к пониманию, но и семя заблуждения. Для аналогий с глазом и мозгом человека указана степень соответствия. Прямое есть данные, что там действительно происходит то же самое · Частичное похожи лишь некоторые свойства · Нет соответствие неизвестно
Понятие
Бытовая аналогия
Аналогия с глазом·мозгом
Где аналогия не работает
Дерево решений
Игра «20 вопросов»
Нет
Настоящее дерево решений выбирает пороги вопросов, вычисляя их по данным. Оно не придумывает «правдоподобные вопросы», как человек
Перцептрон
Тетрадь работы над ошибками, где пересматривают только задачи с ошибками
Частичное возник из идеи, что нервная клетка собирает входы и посылает сигнал, когда превышен порог
Настоящие нервные клетки работают с меняющимися во времени электрическими сигналами, а их правила обучения гораздо сложнее
Зазор SVM
Проложить самую широкую дорогу между двумя сторонами
Нет
Ширина дороги измеряется в «стандартизированных единицах». Если сменить единицы, изменится и положение самой широкой дороги
k-NN
Переехав, расспросить пять ближайших соседей
Нет
Соседей измеряют не «на сколько метров они далеко», а «на сколько граммов и сантиметров отличаются», поэтому без общей мерки дальний дом можно принять за ближний
Стандартизация
Сравнивать рост и массу тела, переведя их в «какое примерно место в классе»
Нет
Место в рейтинге сохраняет только порядок, а стандартизация сохраняет, насколько значение отстоит от среднего (интервалы)
E
Об авторе и источники
E-1 Об авторе · E-2 Научные источники · E-3 Источники иллюстраций·данных
E-1 Об авторе
Сансун Ан (генеральный директор M-Robo Inc.)
Работал в Korea Electrical Safety Corporation и газете Maeil Business Newspaper, а затем основал M-Robo Inc. — внешнее венчурное предприятие Maeil Business Newspaper, — где сейчас занимает пост генерального директора. M-Robo Inc. — медиавенчур, начинавшийся как внутренний стартап СМИ: компания предоставляла газете Kukmin Ilbo робота-журналиста (StockBot) и выполнила множество проектов для Korea Internet & Security Agency, Korea Press Foundation, Korea Communications Agency и других организаций. Сейчас компания развивает собственную новостную ИИ-газету Money-Robo. За время работы директором он победил на Asia Open Data Hackathon и дважды получил награду министра внутренних дел и безопасности Кореи за вклад в развитие стартапов в сфере данных; он автор и правообладатель 5 патентов в области искусственного интеллекта и блокчейна. Автор книги «Преступления с ИИ и самозащита» (AI범죄와 자기방어), разрабатывал электронные курсы по финтеху, статистике и искусственному интеллекту для Онлайн-института непрерывного образования KOREATECH (Korea University of Technology and Education). Доктор экономических наук (Университет Тонгук, микроэкономика и математическая экономика). Преподаёт дисциплины по данным и искусственному интеллекту в ряде университетов, в том числе Kookmin University и Hoseo University. Подробный профиль
Курсы
Сансун Ан (2025). Конспект лекций «Наука о данных для бизнеса» (비즈니스를 위한 데이터 과학). Open Cyber University of Korea, кафедра конвергенции искусственного интеллекта.
Сансун Ан (2025). [K-Digital] Обработка естественного языка с помощью ИИ. STEP (Smart Training Education Platform), Онлайн-институт непрерывного образования KOREATECH.
Сансун Ан (2024). [K-Digital] Основы анализа финтех-данных. STEP (Smart Training Education Platform), Онлайн-институт непрерывного образования KOREATECH.
Сансун Ан (2025). Модель прогнозирования расходов домохозяйств на данных Korean Retirement and Income Study: подход на основе моделей ИИ. «Будущее общество» (미래사회), 16(2). Полный текст
Сансун Ан (2025). Модель прогнозирования расходов домохозяйств на данных Korean Retirement and Income Study: подход ИИ. Материалы доклада на научной конференции KReIS (13.05.2025), National Pension Research Institute, National Pension Service. Материалы доклада
Сансун Ан (2025). Алгоритм обнаружения подозрительных сделок с наркотиками по текстам соцсетей: анализ паттернов и контекста. «Будущее общество» (미래사회), 16(1). Полный текст
Сансун Ан (2024). Статистические методы противодействия состязательным данным для защиты моделей обнаружения аномалий в финансовой сфере: эмпирический анализ и результаты моделирования. «Будущее общество» (미래사회), 15(3). Полный текст
Сансун Ан (2024). Решение на основе ИИ для обнаружения постов в соцсетях по характеристикам виртуальных персонажей. Стендовый доклад, 2024 Summer Newmedia Party (19.06.2024), Seoul Media Institute of Technology.
Сансун Ан (2024). Модели машинного обучения на панельных данных о производственном травматизме. Стендовый доклад, 10-я научная конференция Panel Study of Workers' Compensation Insurance (17.05.2024), Labor Welfare Research Institute, Korea Workers' Compensation & Welfare Service.
Сансун Ан (2024). Анализ и прогнозирование временных рядов цифровых активов: сравнение моделей временных рядов и моделей ИИ, предложения по улучшению. «Будущее общество» (미래사회), 15(1). Полный текст
E-2 Научные источники
[R1] Пак Хэсон (2020). «Машинное и глубокое обучение самостоятельно» (혼자 공부하는 머신러닝+딥러닝). Hanbit Media. Код примеров rickiepark/hg-mldl (лицензия MIT). Исходные данные: датасет Kaggle Fish Market — разделы 1·2·6, код 1
[R2] Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and Regression Trees. Wadsworth. — раздел 3
[R3] Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408. — раздел 4
[R4] Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20, 273–297. — раздел 5
[R5] Cover, T., & Hart, P. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13(1), 21–27. — раздел 6
[R6] Alpaydin, E., & Kaynak, C. (1998). Optical recognition of handwritten digits [Dataset]. UCI Machine Learning Repository. (исходные данные для load_digits в scikit-learn) — код 2
E-3 Источники иллюстраций·данных
Рисунок рыб в разделе 1 — схема, нарисованная для объяснения (пропорции приблизительные)
Точки-рыбы в разделах 2·4·5 — реальные измерения из [R1]. Начальная линия перцептрона (w = [−1, 0.3], b = 0.6) и порядок просмотра рыб выбраны для наглядности
80 фото в разделах 2·3 (+ 80 новых фото) получены из 12 клеток изображения выпуска 4-4: они уменьшены до 28 × 28 и размножены изменением положения·яркости. Два фильтра в разделе 2 ② выбраны человеком
F
Совет для преподавателя
Рекомендации для преподавателей, наставников OJT и репетиторов. Время указано ориентировочно — подстройте его под реальное занятие.
Аудитория
Студенты и работающие специалисты, впервые изучающие машинное обучение. Умеют работать с таблицами Excel, но с моделями сталкиваются впервые
Необходимые знания
Среднее и стандартное отклонение, уравнение прямой на координатной плоскости. Желательно прочитать про перцептрон в 3-2
Цели обучения
① Объяснить разницу между переменной и признаком на примере рыб и фотографий ② Описать данные через образцы, признаки и целевые значения и рассказать, чем различаются способы, которыми правило, перцептрон, SVM и k-NN задают границу ③ Объяснить, когда нужна стандартизация и почему нельзя использовать отдельный пиксель как переменную
Ориентировочное время
Чтение 35~45 мин · демонстрация практики 20 мин · практика в Colab 25 мин (код 1 — 15 мин, код 2 — 10 мин)
Три формата занятия
Лекция, 50 мин
Упор на понятия
Введение 5 мин (раздел 1) → раздел 2, переменная vs признак, 15 мин → раздел 3, устройство таблицы, 5 мин → раздел 4, перцептрон, 10 мин → раздел 5, k-NN, 5 мин → раздел 6, мостик дальше, 5 мин → «Проверь себя» 5 мин.
OJT, 90 мин
Упор на применение в работе
Перерисовать разделы 1·2 на таблице данных своей компании — 20 мин → сравнить правило из раздела 3 и SVM из раздела 5 — 20 мин → найти ловушку стандартизации из раздела 6 (проверить единицы в своих данных) — 20 мин → запустить код 1 на своих данных — 30 мин.
Индивидуальные занятия
Темп по уровню
Начинающим — только разделы 1·2·3·6. Продолжающие один раз вручную считают формулу обновления из раздела 4 и объясняют, почему опорных векторов SVM в коде 1 ровно два.
Ключевые моменты по разделам
Раздел
Вопрос, на котором стоит остановиться
Совет по работе с интерактивом
1 Задача
«Чем отличаются длина 25.4 см и значение 187 в 412-й клетке?»
Сопоставьте таблицу рыб и количество чисел в фото
2 Переменная vs признак
«Связана ли клетка, выбранная пиксельным правилом, с чихуахуа?»
Нажмите оба «Найти … автоматически» по очереди
3 Признаки·метки
«Где в этой таблице столбец с ответом?»
Нажмите на строку фото и посмотрите на вытянутую строку
4 Правило и прямая
«Почему линия не сдвигается, когда рыба угадана верно?»
Кнопкой «По одной» остановитесь на красном кружке (ошибка), а на рисунке SVM наложите линию перцептрона
5 Стандартизация
«Почему соседи новой рыбы — корюшки?»
Переключите исходные единицы → стандартизация и подвигайте ползунок массы
6 Пиксель — переменная?
«Почему для 0 и 1 работает, а для 3 и 8 нет?»
Сравните два столбца таблицы результатов кода 2
Топ-5 типичных заблуждений
Заблуждение
Верное объяснение
Что показать
Перцептрон появился, потому что SVM не справлялся
Наоборот: SVM (1990-е) появился после перцептрона (1958)
Объяснение в разделе 5
Всё, что находит веса, — это перцептрон
Линейный SVM и логистическая регрессия тоже находят веса. Разница — в критерии выбора границы
Сравнение формул в разделах 4·5
Если признаков много, стандартизация не нужна
У методов на расстояниях и взвешенных суммах результат переворачивается при разных единицах
(25 см, 150 г) из раздела 6
Модели на правилах устарели
На табличных данных с осмысленными признаками они сильны и сегодня, и их легко объяснить
Правило в одну строку из раздела 3
Фото — тоже таблица, значит, сработает тот же метод
Форма та же, но у отдельной клетки нет смысла, поэтому нужен шаг поиска паттернов
Раздел 7 и код 2
Проверь себя (нажмите, чтобы раскрыть пояснение)
Q1. Каковы число образцов, число признаков и целевое значение в таблице рыб?
49 образцов (строк), 2 признака (длина·масса), целевое значение — один столбец: лещ 1 / корюшка 0.
Q2. Перцептрон ошибся, назвав леща (t = +1) корюшкой. Как изменится w при z = (0.2, −0.1), η = 0.5?
w ← w + 0.5 × (+1) × (0.2, −0.1) = w + (0.1, −0.05). b увеличится на 0.5.
Q3. Одинакова ли форма границы у перцептрона и линейного SVM?
Да. У обоих это прямая w·z + b = 0. SVM выбирает из таких прямых ту, у которой зазор шире всего.
Q4. Почему новая рыба (25 см, 150 г) в k-NN в исходных единицах оказалась корюшкой?
Потому что расстояние почти целиком определяется разницей в массе. По числам 150 г ближе к корюшкам (до 20 г), чем к лещам (от 242 г).
Q5. Что станет с правилом дерева решений, если длина записана не в см, а в мм?
Только число порога увеличится в 10 раз, а угадываемые рыбы останутся теми же. Правило, смотрящее на одну переменную, не зависит от единиц.
Задания в Colab
Базовое
Уберите StandardScaler из кода 1, обучите SVM, посмотрите, как изменятся граница и опорные векторы, и объясните это в двух предложениях, связав с разделом 6.
Повышенной сложности
В коде 2 увеличьте глубину дерева решений до 1, 3, 10, сведите в таблицу точность на обучающей и тестовой выборках для пары 3 и 8 и объясните, как меняется разрыв между ними с ростом глубины.
Настройка сложности и что изучать дальше
Начинающим
Формулы разделов 4·5 можно пропустить без потери нити. Главное — как следует выполнить практику разделов 3 и 6
Углублённо
Пусть слушатели сравнят логистическую регрессию в такой же таблице, как в разделах 4·5, и расскажут, чем классификатор, выдающий вероятности, отличается от классификатора, выдающего только границу
