Глубокое обучение от A до Z · 3-3

Изображения и CNN — от числовой сетки до вероятностей

Для компьютера фотография — это сетка, плотно заполненная числами. Перед такой сеткой легко теряются и признаки, заданные человеком, и нейросеть, которая вытягивает пиксели в одну строку (MLP). Свёрточная нейронная сеть (CNN) скользит по сетке одним маленьким фильтром. Что она решила, а что пока нет, — проследим, считая каждое число своими руками.

Автор: Сансон Ан (генеральный директор M-Robo) · Об авторе

1980Представлен неокогнитрон [R2]
1998LeNet и распознавание рукописных цифр [R3]
15.3%Ошибка top-5 у CNN — победителя конкурса ImageNet 2012 (2-е место — 26.2%) [R4]
9весов у одного фильтра 3×3
2,371 : 527число параметров MLP и CNN на этой странице
2 примеракода, которые сразу запускаются в Colab
1Сетка чисел

Фотография — это сетка чисел

Если сильно увеличить картинку на экране, видны маленькие квадратики (пиксели). Один пиксель — это одно число, обозначающее яркость, а в цветном изображении — три числа: красный, зелёный и синий.

Картинка
Вид

Пояснение для начинающих

Сетку чисел обычно хранят как целые числа от 0 (чёрный) до 255 (белый). Перед подачей в нейросеть их часто делят на 255, переводя в диапазон 0~1. Расчёты на этой странице тоже используют 0~1. Одна фотография с телефона (например, цветная 4000×3000) — это 36 миллионов чисел. То, что сетка чисел настолько велика, — отправная точка следующих разделов.

2Классическое МО

Классическое машинное обучение — признаки, заданные человеком, выдерживают только предусмотренные изменения

Нужно различать три фигуры (+, ×, ○). Человек задал две подсказки: «закрашен ли центр» и «темнее ли горизонтальная и вертикальная полосы, чем диагональные». Машина учит только веса для этих двух чисел.

Условия теста

Что же делали люди

Признаки в этом примере намеренно сделаны простыми. Настоящие исследователи долго придумывали гораздо более тонкие признаки — например, подсчёт направлений краёв по областям. И всё же положение, размер, освещение и угол предметов на фото меняются бесконечно, и заранее предусмотреть все изменения в признаках человеку было трудно. Перелом наступил в 2012 году на конкурсе ImageNet по классификации фотографий на 1000 классов: CNN, которая сама учит и признаки, показала ошибку top-5 15.3% и далеко опередила второе место (26.2%) [R4].

3Пределы MLP

Четыре причины, по которым MLP застревает на фотографиях

Чтобы подать фотографию в MLP (многослойный перцептрон) из 3-2, сетку нужно развернуть в одну строку. Разберём по очереди проблемы, которые возникают в момент развёртывания.

Размер фото (для ②)
4Решение CNN

Четыре решения CNN — скользящий маленький фильтр

Локальные связи · общие веса · пулинг · наращивание слоёвFukushima 1980 → LeCun 1998

Проблема MLPРешение CNNЧто решено
① Потеря соседстваЛокальные связи: один нейрон смотрит только на соседний фрагмент, например 3×3Совместный просмотр соседних пикселей встроен в саму структуру
② Взрыв числа весовОбщие веса: один и тот же фильтр используется во всех позицияхДостаточно «число фильтров × 9». От размера фото не зависит
③ Сдвиг положенияОбщие веса + пулинг: где бы ни был объект, его ищет один и тот же фильтр, а пулинг поглощает небольшие сдвигиСравнительно устойчивее. Но не полностью. При большом сдвиге точность падает (раздел 8) [R6]
④ Порядок пикселей не учитываетсяНаращивание слоёв: близкие пиксели объединяются, постепенно образуя всё более крупные формыВзамен сеть опирается на допущение «близкие пиксели связаны». Если перемешать пиксели, качество падает (раздел 8)

Связь с дрозофилой и мозгом

В зрительной коре кошки Hubel и Wiesel различили «простые клетки», которые реагируют на полоску определённого направления в узкой области, и «сложные клетки», которые реагируют на то же направление, даже если положение немного другое [R1]. Неокогнитрон Fukushima по образцу этих двух клеток чередовал «слои поиска признаков» и «слои размытия положения» [R2]. Их потомки — свёрточные слои и слои пулинга современных CNN. Правда, неокогнитрон обучался не обратным распространением ошибки, а другим способом; успешно применили CNN, обучаемую обратным распространением ошибки, к распознаванию рукописного текста LeCun и соавторы [R3].

5Свёртка

Вычисление свёртки — перемножаем клетки попарно и всё складываем

Выход = Σ (фрагмент входа × фильтр)вход 6×6 · фильтр 3×3 → выход 4×4

Фильтр

Пояснение для начинающих

Окно фильтра накладывается на одно место входа. Сумма попарных произведений 9 перекрывающихся клеток становится одной клеткой выхода. Окно сдвигается на клетку, и всё повторяется. Окно 3×3 на входе 6×6 помещается в 4 позиции по горизонтали и 4 по вертикали, поэтому выход 4×4 (если не делать паддинг — заполнение краёв нулями).

У фильтра вертикального края в левом столбце +1, в правом −1. Поэтому там, где «слева светло, справа темно», получается положительное число, в обратном случае — отрицательное, а на однородном месте — около 0. Нейросеть не получает такие числа фильтра от человека, а учит их обратным распространением ошибки. Кстати, «свёртка» в глубоком обучении, в отличие от математической свёртки, не переворачивает фильтр (взаимная корреляция). Поскольку числа всё равно определяются обучением, результат тот же [R8].

6ReLU и пулинг

ReLU и пулинг — убрать отрицательные и оставить одно из четырёх

Выход 4×4 из раздела 5 проходит через ReLU (отрицательное → 0), затем в каждом окне 2×2 остаётся только одно число (максимум или среднее). Посмотрим также, что меняется, если сдвинуть картинку на одну клетку.

Пулинг
Фильтр
Вход

Что делает пулинг и где его пределы

Пулинг уменьшает количество чисел в 4 раза, облегчая вычисления следующего слоя, и поглощает небольшие сдвиги внутри окна 2×2. Сдвиг через границу окна или на 2 клетки и больше напрямую меняет результат. Поэтому точнее говорить не «CNN устойчива к сдвигам», а «сравнительно устойчивее». Есть исследования, показывающие, что даже у известных больших CNN ответ может измениться при сдвиге картинки всего на несколько пикселей [R6].

7До вероятностей

Развёртка → вероятность — как карта признаков становится ответом

Последние карты признаков превращаются в одну строку чисел, проходят через полносвязный слой и softmax и дают «вероятность +, вероятность ×, вероятность ○». Используем заранее обученную CNN из раздела 8 как есть.

Вход
Как получить одну строку

Пояснение для начинающих

Классические CNN вроде LeNet склеивали последние карты как есть (развёртка, Flatten) и подавали в полносвязный слой [R3]. Такой способ передаёт дальше и то, «в какой клетке карты был признак», поэтому сеть снова становится чувствительной к положению. Глобальный пулинг, оставляющий по одному числу на карту (максимум или среднее), стирает информацию о положении, меньше реагирует на сдвиги и требует меньше параметров [R5]. CNN на этой странице использует глобальный max-пулинг.

Softmax превращает 3 оценки в 3 вероятности с суммой 1. Чем больше оценка, тем больше вероятность. Высокая вероятность не всегда означает правильный ответ. На виде, которого не было при обучении, модель может дать высокую вероятность и неверному ответу (3-1, раздел 4).

8Панель сравнения

MLP против CNN — честное состязание на одних данных

Обучение на 120 изображениях трёх фигур 12×12 (по 40 каждой). Все обучающие картинки расположены в центре (±0.5 клетки), с примесью шума, лишних штрихов, поворотов и разной толщины линий. Тест — по 150 новых картинок.

Эксперимент

Условия эксперимента (точно)

  1. Модели: MLP = 144 пикселя → скрытый 16 (ReLU) → 3. CNN = 6 свёрток 3×3 (ReLU) → max-пулинг 2×2 → 8 свёрток 3×3 (ReLU) → глобальный max-пулинг → 3. Обе обучаются на одних и тех же данных стохастическим градиентным спуском (скорость обучения 0.02, по одной картинке) 30 эпох. Seed генератора случайных чисел фиксирован.
  2. Сдвиг положения: для обучения используются только центрированные картинки, а тестовые сдвигаются на 1~3 клетки в одном из направлений: вверх, вниз, влево или вправо. Обучение на сдвинутых картинках (аугментация данных) не проводилось.
  3. Перемешивание пикселей: задаётся одно правило перестановки 144 клеток, оно применяется одинаково к обучающим и тестовым картинкам, и обе модели обучаются заново с нуля. Это не эксперимент, где в уже обученную модель подают перемешанные картинки.
  4. Диапазон чисел: эта панель — результат одного seed. Код Colab 2 проводит тот же эксперимент на Keras, усредняя по 3 seed; числа немного отличаются, но тенденция та же (раздел A).

Код для Colab — запустите эту страницу сами

Оба примера используют только библиотеки, предустановленные в Colab. Нажмите «Скачать блокнот (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в ячейку нового блокнота.

Код 1 · Ручной расчёт свёртки, ReLU и пулинга на numpyСвязь с разделами 5·6 · numpy, matplotlib · CPU менее 1 с

С той же числовой «7» 6×6 и теми же 4 фильтрами, что в разделах 5·6, считаем свёртку → ReLU → max- и средний пулинг. Выходные числа совпадают с числами на странице вплоть до клетки. Чтобы подставить свои данные, замените только IMG в месте кода с пометкой [чтобы подставить свои данные].

Результат запуска (запуск 2026-10-03, numpy 2.4 · matplotlib 3.10 · CPU). В расчёте нет случайности, поэтому результат всегда одинаков.
Код 2 · MLP против CNN на Keras — сдвиг положения и перемешивание пикселейСвязь с разделами 3·8 · tensorflow (Keras), numpy, matplotlib · CPU около 1~2 мин

С той же структурой моделей и теми же правилами фигур, что в разделе 8, повторяем эксперимент на рабочей библиотеке. Оптимизатор заменён на Adam (40 эпох), эксперимент повторяется с 3 seed и усредняется. Для перемешивания пикселей модели заново обучаются с нуля на данных, перемешанных по тому же правилу.

Результат запуска (запуск 2026-10-03, TensorFlow 2.21 · Keras 3.15 · CPU). Числа отличаются от браузерной панели (один seed, SGD), но тенденция та же. На GPU или в других версиях числа могут немного отличаться.

Промпты для ИИ — этот код как отправная точка

Это промпты, которые можно вставить в ИИ-помощника вроде ChatGPT, Qwen или Claude. Если нажать «Копировать», после промпта будет добавлен выбранный код. Замените текст в 〔 〕 на свою ситуацию.

Код, который добавить

Ответ ИИ — лишь отправная точка. Предложенные статьи, числа и функции библиотек обязательно проверяйте по первоисточникам и официальной документации. Если для конкурса или статьи вы пользовались помощью ИИ, укажите факт и объём использования согласно правилам организаторов и журнала.

Глоссарий

Это тот же словарь, что и жёлтое пунктирное подчёркивание в тексте. Во всей серии используются одни и те же обозначения. Нажмите на название раздела, чтобы перейти к месту первого упоминания.

Собрание аналогий — и где аналогии ошибаются

Аналогия — первый шаг к пониманию, но и семя заблуждения. Для аналогий с дрозофилой и мозгом указана сила. Прямая есть данные, что это действительно делает то же самое · Частичная похожи лишь некоторые свойства · Нет соответствие неизвестно

ПонятиеБытовая аналогияАналогия с дрозофилой и мозгомГде аналогия ошибается
ПиксельОдна плитка мозаикиЧастично Один омматидий сложного глаза дрозофилыОмматидии расположены шестиугольниками и чувствительны к изменению яркости. Пиксели фото — неподвижные значения в квадратной сетке
ФильтрЛупа, высвечивающая только определённый узорЧастично Клетки первичной зрительной коры, избирательные к направлению [R1]Рецептивные поля нейронов немного различаются от места к месту. Фильтр CNN во всех позициях полностью одинаков
Общие весаСтавить одну и ту же печать по всему листуЧастично В зрительной системе дрозофилы нейроны одного типа повторяются по всему полю зренияУ нейронов мозга у каждого своя сила связей. Числа они не «делят» между собой
ПулингУменьшенная копия картыЧастично Сложные клетки, реагирующие даже при немного другом положении [R1]Не подтверждено, что сложные клетки выполняют именно вычисление максимума
Наращивание слоёвРисовать картинку: точка → линия → фигураЧастично Зрительный путь V1 → V2 → V4 → нижневисочная кора (3-1, раздел 5)В мозге много обратных связей, а в CNN сигнал идёт только в одном направлении
РазвёрткаВыложить камни с доски для го в одну линиюНетЕсли выложить в линию, исчезает, «кто чей сосед» (раздел 3 ①)
SoftmaxПеревести итоги голосования в доли голосовНетВысокая доля голосов не означает правильный ответ. На новой картинке модель может уверенно ошибиться
Перемешивание пикселейПеремешать кусочки пазла по заданному правилуНетЧеловек почти не узнаёт перемешанную картинку, а MLP учится так же. Критерий «видит как человек» у каждой модели свой

Об авторе и источники

E-1 Об авторе · E-2 Научные источники · E-3 Материалы к рисункам

E-1 Об авторе

Сансон Ан (генеральный директор M-Robo)

Работал в Корейской корпорации электробезопасности и газете «Мэиль Кёндже» (Maeil Business Newspaper), а затем основал M-Robo — внешнее венчурное предприятие «Мэиль Кёндже», где сейчас является генеральным директором. M-Robo — медиавенчур, начинавший как внутренний стартап СМИ: он предоставлял газете «Кукмин Ильбо» робота-журналиста (StockBot) и выполнил множество проектов для Корейского агентства интернета и безопасности (KISA), Корейского фонда прессы, Корейского агентства по продвижению радиовещания и связи и других организаций. Сейчас компания развивает собственное ИИ-новостное издание Money-Robo. За время руководства компанией выиграл Asia Open Data Hackathon и дважды получил награду министра внутренних дел и безопасности за вклад в сфере дата-стартапов; является изобретателем и правообладателем 5 патентов в области искусственного интеллекта и блокчейна. Автор книги «Преступления с ИИ и самозащита»; разрабатывал электронные учебные курсы по финтеху, статистике и искусственному интеллекту для Онлайн-института непрерывного образования Корейского технологического и образовательного университета (KOREATECH). Высшая учёная степень — доктор экономических наук (Университет Тонгук, микроэкономика с математическими методами). Преподаёт дисциплины, связанные с данными и искусственным интеллектом, в нескольких университетах, в том числе в Университете Кукмин и Университете Хосо. Подробный профиль

Лекции

  • Сансон Ан (2025). Конспект лекций «Наука о данных для бизнеса». Кафедра конвергенции искусственного интеллекта, Открытый кибер-университет Кореи.
  • Сансон Ан (2025). [K-Digital] Обработка естественного языка с помощью ИИ. STEP (Платформа интеллектуального профессионального обучения), Онлайн-институт непрерывного образования Корейского технологического и образовательного университета.
  • Сансон Ан (2024). [K-Digital] Основы анализа финтех-данных. STEP (Платформа интеллектуального профессионального обучения), Онлайн-институт непрерывного образования Корейского технологического и образовательного университета.

Курсы на STEP: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Если из-за обновления сайта ссылки не открываются, заходите на www.step.or.kr.

Статьи и доклады

  • Сансон Ан (2025). Модель прогнозирования расходов домохозяйств на основе панельных данных о пенсионном обеспечении (KReIS): подход на основе моделей искусственного интеллекта. «Будущее общество» (Mirae Sahoe), 16(2). Полный текст
  • Сансон Ан (2025). Модель прогнозирования расходов домохозяйств на основе панельных данных о пенсионном обеспечении (KReIS): подход с использованием ИИ. Доклад на научной конференции по панельному исследованию пенсионного обеспечения (2025.05.13), Национальный институт пенсионных исследований, Национальная пенсионная служба Кореи. Материалы доклада
  • Сансон Ан (2025). Алгоритм обнаружения подозрительных сделок с наркотиками по текстам в соцсетях: анализ шаблонов и контекста. «Будущее общество» (Mirae Sahoe), 16(1). Полный текст
  • Сансон Ан (2024). Статистический подход к противодействию состязательным данным для защиты моделей обнаружения аномалий в финансовой сфере: эмпирический анализ и результаты моделирования. «Будущее общество» (Mirae Sahoe), 15(3). Полный текст
  • Сансон Ан (2024). Решение на основе ИИ для обнаружения публикаций в соцсетях по характеристикам виртуальных персонажей. Стендовый доклад на 2024 Summer Newmedia Party (2024.06.19), Сеульский университет медиа (аспирантура).
  • Сансон Ан (2024). Модель машинного обучения на панельных данных о производственном травматизме. Стендовый доклад на 10-й научной конференции по панели страхования от несчастных случаев на производстве (2024.05.17), Институт социального обеспечения работников, Корейская служба социального обеспечения работников.
  • Сансон Ан (2024). Анализ и прогнозирование временных рядов виртуальных активов: сравнение моделей временных рядов и моделей ИИ, предложения по улучшению. «Будущее общество» (Mirae Sahoe), 15(1). Полный текст

E-2 Научные источники

  1. [R1] Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. The Journal of Physiology, 160(1), 106–154. doi:10.1113/jphysiol.1962.sp006837 — раздел 4 (простые и сложные клетки)
  2. [R2] Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4), 193–202. doi:10.1007/BF00344251 — вступление, раздел 4
  3. [R3] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. doi:10.1109/5.726791 — вступление, разделы 4·7
  4. [R4] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6), 84–90. doi:10.1145/3065386 (первая публикация: NIPS 2012) — вступление, раздел 2 (ILSVRC-2012, ошибка top-5 15.3%, 2-е место 26.2%)
  5. [R5] Lin, M., Chen, Q., & Yan, S. (2014). Network in network. ICLR 2014. arXiv:1312.4400 — раздел 7 (глобальный средний пулинг)
  6. [R6] Azulay, A., & Weiss, Y. (2019). Why do deep convolutional networks generalize so poorly to small image transformations? Journal of Machine Learning Research, 20(184), 1–25. jmlr.org — разделы 4·6·8 (CNN не полностью инвариантны даже к небольшим сдвигам)
  7. [R7] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. doi:10.1038/nature14539 — разделы 4·5
  8. [R8] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. deeplearningbook.org — разделы 5·6 (глава 9 «Свёрточные сети»: взаимная корреляция, пулинг)

E-3 Материалы к рисункам

Следующие материалы использованы как ориентир для структуры и содержания.

  • Инфографика структуры CNN (с примерами свёртки и пулинга) — разделы 5·6
  • Цветная дрозофила из раздела 1 — общий пиксель-арт серии

Советы преподавателю

Практические рекомендации для преподавателей, наставников по OJT (обучению на рабочем месте) и тьюторов. Время указано ориентировочно — подстраивайте его под реальное занятие.

АудиторияСтуденты и работающие специалисты, прошедшие 3-2. Практики, работающие с изображениями (снимки контроля качества, медицинские изображения, сканы документов)
Предварительные знанияПонятия скрытого слоя и обратного распространения ошибки из 3-2. Расчёты разделов 5·6 можно проследить, умея только умножать и складывать
Цели обучения① Объяснить, что фотография — это сетка чисел, и назвать четыре причины, по которым MLP застревает ② Вручную посчитать свёртку, ReLU и пулинг ③ На результатах эксперимента объяснить, что CNN к сдвигам «сравнительно устойчивее, но не полностью»
Ориентировочное времяЧтение 40–50 мин · демонстрация анимаций 25 мин · практика в Colab 30 мин (код 1 — 10 мин, код 2 — 20 мин)

Три варианта занятия

Лекция, 50 мин

Упор на понятия

Введение 5 мин (числа цветной дрозофилы из раздела 1) → четыре причины из раздела 3, 10 мин → ручной расчёт разделов 5·6, 15 мин → панель раздела 8, 15 мин → проверочные вопросы 5 мин.

OJT на рабочем месте, 90 мин

Упор на применение в работе

Расчёт ② взрыва числа весов из раздела 3 для размеров изображений вашей компании, 10 мин → раздел 8, 20 мин (а если сместится камера на объекте?) → практика с кодом 2, 30 мин → обсуждение «какая аугментация нужна нашим данным?» 20 мин → карточки промптов 10 мин.

Индивидуальные занятия

Темп по уровню

Новичкам — только разделы 1·3·5·8. Учащимся среднего уровня — посчитать вручную одну клетку выхода из раздела 5, сверить с функцией conv2d в коде 1, а в разделе 7 самим подсчитать число параметров при развёртке и при глобальном пулинге.

Ключевые моменты по разделам

РазделВопрос, на котором стоит остановитьсяСовет по управлению
1 Сетка чисел«Какими числами в трёх каналах выражен красный цвет глаза дрозофилы?»У цветной дрозофилы по очереди нажать виды «Красный», «Зелёный», «Синий»
2 Классическое МО«Почему признаки, заданные человеком, разваливаются на сдвинутой картинке?»Нажать по порядку от «чистая картинка» до «сдвиг на 2 клетки» и сравнить столбцы точности
3 Пределы MLP«На сколько клеток в строке отстоит пиксель, расположенный прямо под данным?»В ② «Взрыв числа весов» нажать 1000×1000 и удивить масштабом чисел
4 Решение CNN«Почему при общем фильтре число весов перестаёт зависеть от размера фото?»В «Наращивании слоёв» обратить внимание, как область, которую видит один нейрон, растёт 3 → 4 → 8
5 Свёртка«Почему выход в этом месте отрицательный?»Остановить анимацию и вместе читать формулу кнопкой «Шаг на клетку»
6 ReLU и пулинг«При сдвиге на клетку что меняется меньше — до пулинга или после?»Попеременно нажимать «Исходная картинка» и «Вправо на 1 клетку»
7 До вероятностей«Что менее чувствительно к положению — развёртка или глобальный пулинг?»Выбрать «+ со сдвигом на 2 клетки» и попеременно смотреть оба способа
8 Панель сравнения«Кто побеждает на центрированных картинках, а кто — на сдвинутых?»Сначала посмотреть «Сдвиг положения», затем переключиться на «Перемешивание пикселей» и увидеть, как результат переворачивается

Топ-5 частых заблуждений

ЗаблуждениеВерное объяснениеЧто показать
CNN одинаково узнаёт объект, даже если его положение изменилосьОна лишь сравнительно устойчивее. При большом сдвиге точность падает, и даже у большой CNN ответ может измениться от сдвига на несколько пикселейРаздел 8 «Сдвиг положения», раздел 6
CNN всегда точнее MLPЕсли картинка всегда на одном месте, как на этой странице, MLP бывает даже точнее. Преимущества CNN — эффективность по параметрам и устойчивость к сдвигамТочность при сдвиге 0 клеток в разделе 8
Фильтры задаёт человекФильтры в разделе 5 — для объяснения. Настоящая CNN учит числа фильтров обратным распространением ошибкиОбученные карты в разделе 7
Пулинг добавляет информациюПулинг уменьшает количество чисел и отбрасывает информацию. Зато он поглощает небольшие сдвиги и сокращает вычисления4×4 → 2×2 в разделе 6
CNN — то же самое, что зрительная кора мозгаИдея взята от простых и сложных клеток, но способ обучения и структура связей другиеПометка «Частично» в общем разделе D

Проверочные вопросы (нажмите, чтобы раскрыть разбор)

Q1. Сколько весов в первом слое, если подать цветное фото 224×224 в MLP с 1,000 скрытых нейронов? (без смещений)

224 × 224 × 3 = 150,528 входов × 1,000 = 150,528,000 (около 150 миллионов). У свёрточного слоя с 64 цветными фильтрами 3×3 их 3 × 3 × 3 × 64 = 1,728 (1,792 со смещениями).

Q2. Какого размера будет выход, если применить фильтр 3×3 ко входу 6×6 без паддинга с шагом 1?

(6 − 3 + 1) × (6 − 3 + 1) = 4×4.

Q3. Покажите расчётом, почему выход равен −3, когда фильтр вертикального края из раздела 5 стоит в левом верхнем углу.

Вторая строка перекрывающегося фрагмента — [0, 3, 3], а каждая строка фильтра — [1, 0, −1]. 0×1 + 3×0 + 3×(−1) = −3. Первая и третья строки целиком из нулей, поэтому сумма остаётся −3.

Q4. Каковы значения max-пулинга и среднего пулинга для окна 2×2 [6, 3, 0, 3]?

Максимум 6, среднее (6 + 3 + 0 + 3) / 4 = 3.

Q5. Если перемешать пиксели по одному правилу и обучать с нуля, у кого точность упадёт сильнее — у MLP или у CNN, и почему?

У CNN. CNN заложила в структуру (фильтры 3×3, пулинг) допущение «близкие пиксели связаны», а после перемешивания соседние клетки оказываются никак не связанными пикселями. MLP изначально не использует взаимное расположение пикселей, поэтому после перемешивания результат почти тот же. Важно условие: в уже обученную модель не подают перемешанные картинки, а обучают с нуля на перемешанных данных.

Задания в Colab

Базовое

Добавьте в FILTERS кода 1 фильтр диагонального края, найдите, какая клетка «7» 6×6 реагирует сильнее всего, и объясните причину в двух предложениях.

Повышенной сложности

Добавьте в обучающие данные кода 2 картинки, сдвинутые на 1~2 клетки (аугментация данных). Сведите в таблицу, как меняется точность обеих моделей при сдвиге 0~3 клетки, и сравните «устойчивость от структуры» и «устойчивость от данных».

Настройка сложности и что изучить дальше

НачинающимРазделы 2 и 7 можно пропустить без потери логики. В разделе 8 вместе прочитайте только столбцы результатов
УглублённоПредложите вывести общую формулу для расчёта рецептивного поля (3 → 4 → 8) из «Наращивания слоёв» раздела 4. Обсудите пределы из раздела 6, связав их с таблицами статьи [R6]
Что изучить дальшеСансон Ан, конспект лекций «Наука о данных для бизнеса» (наука о данных в целом) · STEP [K-Digital] Обработка естественного языка с помощью ИИ (связано с 3-5·3-8) · STEP [K-Digital] Основы анализа финтех-данных (связано с 3-6)
Материалы для преподавателяКритерии оценки проверочных вопросов и примеры ответов к заданиям — на странице ответов для преподавателей (3-3)

Отличная работа!

Вы дочитали часть «3-3 Изображения и CNN» до конца. Обитатели лаборатории подведут итоги — каждый по фразе.

Профессор
ПрофессорМы прошли путь от фотографии как сетки чисел до вероятностей.
  • Фотография — это сетка чисел
  • Один маленький фильтр находит один и тот же узор где угодно (общие веса)
  • При сдвиге MLP сильно сбивается, а CNN — сравнительно меньше (но и у неё есть пределы)
Ассистентка
АссистенткаДаже если сдвинуть цифру 7, CNN её узнаёт.
Муха-исследователь
Муха-исследовательМой сложный глаз — это тоже сотни маленьких фильтров.