Глубокое обучение от A до Z · Специальный выпуск о дрозофиле 1

Как дрозофила чует, видит и понимает

Даже в крошечной, с маковое зёрнышко, голове дрозофилы сигнал идёт по чётко заданному пути. Усики и фасеточные глаза превращают мир в электрические сигналы, нервы упорядочивают и передают их, а мозг понимает: «это еда», «это опасно». И правила этих решений никто не задал заранее — они выучены на опыте. Если пройти по этому пути, становится естественно видно, как искусственная нейросеть вырастает из простейшей модели в многослойное глубокое обучение.

около 140 тыс.нейронов во всём мозге [1]
около 50 млнсинапсов (связей) [1]
около 800омматидиев в одном фасеточном глазу = пикселей [2]
около 50типов обонятельных рецепторных нейронов [3]
около 2000клеток Кеньона в одном грибовидном теле [4]
около 86 млрддля сравнения: нейронов в мозге человека [5]

Почему изучать нейросети именно на дрозофиле

Мозг человека слишком велик, а компьютерные нейросети слишком абстрактны. Дрозофила — как раз посередине. Весь путь от органов чувств до поведения виден целиком, и каждый нейрон на этом пути можно в эксперименте включать и выключать.

Причина 1Полная схема соединений опубликована

В 2024 году была завершена схема соединений (коннектом) всего мозга дрозофилы со всеми нейронами и связями. В терминах нейросетей это всё равно что видеть структуру и связи модели целиком.

Причина 2Путь от входа к выходу короткий и ясный

Учуять запах и подлететь, увидеть надвигающуюся тень и взлететь. Путь «органы чувств → нервы → мозг → поведение» короток, поэтому по нему удобно идти шаг за шагом.

Причина 3Можно включать и выключать только нужные нейроны

Генетическими инструментами можно остановить работу конкретных нейронов. Это как эксперимент в нейросети: удалить один нейрон и посмотреть, как изменится качество.

Почему все ощущения превращаются в электрические сигналы

Свет — это фотоны, запах — молекулы, звук — колебания воздуха, вкус — растворённые в воде вещества. Раздражители совсем разные, но к мозгу все они приходят в одной форме: как изменения напряжения на мембране нейрона и электрические импульсы (спайки).

Свет → фасеточный глаз

Фоторецептор

Молекула, поглотившая свет, меняет форму, это открывает ионные каналы и меняет напряжение клетки.

Значения пикселей изображения
Молекулы запаха → усики

Обонятельный рецепторный нейрон

Когда молекула запаха связывается с рецептором, ионы входят и выходят, напряжение растёт, а при превышении порога нейрон выпускает спайк.

Показания датчика
Ветер·звук → усики

Джонстонов орган

Когда кончик усика колеблется, механочувствительные нейроны внутри растягиваются и создают электрический сигнал.

Числа звуковой волны
Вкус → лапки·рот

Вкусовые нейроны

Дрозофила пробует вкус даже лапками. При контакте с сахаром или горьким веществом вкусовые нейроны выдают электрический сигнал.

Ещё один входной канал
Раздражитель→ Рецептор · изменение напряжения→ Аксон · бег электроимпульса→ Синапс · переход через химию→ Следующий нейрон · снова электричество
Чувство
Сила раздражителя
Сила синапса (вес)

Почему именно электричество — пять причин

  1. Общий язык: свет, запах, звук и вкус нужно перевести в одну форму, чтобы мозг мог смешивать и сравнивать их в одном месте. По той же причине глубокое обучение превращает фотографии, текст и звук в списки чисел.
  2. Быстро: если бы сигнал расплывался по телу со скоростью молекул запаха, от мухобойки не увернуться. Электрический сигнал, который несут потоки ионов, долетает от кончика тела до мозга мгновенно.
  3. Не слабеет на большом расстоянии: спайк постоянно создаётся заново по ходу аксона. Поэтому даже на долгом пути его величина не уменьшается.
  4. Сила выражается «количеством раз»: величина одного спайка всегда одинакова, а чем сильнее раздражитель, тем чаще нейрон срабатывает. Сила передаётся не амплитудой, а числом спайков, поэтому сигнал устойчив к шуму. Эта частота разрядов соответствует «выходному числу» искусственного нейрона.
  5. В синапсе силу можно регулировать: в щели между нейронами электричество превращается в химическое вещество (нейромедиатор) и так переходит дальше. Сколько и насколько хорошо передаётся — это и есть вес, а обучение — это изменение эффективности этой передачи.

Есть и исключения. Нейроны, передающие сигнал на короткое расстояние, как фоторецепторы фасеточного глаза, вместо спайков плавно повышают и понижают напряжение. Выберите «Свет» и посмотрите на разницу.

Вращаем мозг дрозофилы и следим за путём сигнала

Как на микроскопическом снимке с флуоресцентной окраской, каждая область мозга изображена точками. Розовые точки — нервная ткань, красные — органы чувств, зелёное свечение — текущий сигнал. Это схематичная модель, а не реальные анатомические данные. Взаимное расположение областей (спереди-сзади, слева-справа) соблюдено, но размеры и формы упрощены.

Путь сигнала
Скорость1.0×

Описание области · нажмите на мозг или на кнопки ниже

Органы чувств → нервы → мозг → поведение — это вход → скрытый слой → выход

Четыре этапа у дрозофилы один к одному совпадают с базовой структурой нейросети. Все модели на лестнице ниже — это история о том, как в этой рамке становится всё больше слоёв.

1 · Органы чувств

Превращают мир в числа

Обонятельные рецепторные нейроны усиков реагируют на молекулы запаха, омматидии фасеточного глаза — на свет. Сила реакции и есть число.

Нейросеть: входной слой (данные)
2 · Нервы (передача и обработка)

Отбирают и шлифуют числа

Антеннальная доля и ламина собирают входящие сигналы, выравнивают их силу и переводят в удобную форму, например «стало светлее / стало темнее».

Нейросеть: предобработка и первый слой
3 · Мозг (распознавание)

Замечает закономерности

Грибовидное тело, латеральный рог и лобула извлекают смысл вроде «этот запах — еда» или «эта тень — приближающийся хищник».

Нейросеть: скрытые слои (признаки и закономерности)
4 · Поведение

Выбирает одно

Подлететь, избегать или взлететь? Сравниваются баллы разных сигналов, и побеждает одно действие.

Нейросеть: выходной слой (решение)

Правила задают или правилам учатся?

Поручить компьютеру работу можно двумя способами. Либо человек прописывает правила одно за другим (на основе правил), либо даёт только примеры и результаты, а правила компьютер находит сам (на основе обучения). Глубокое обучение — это второй способ, а в мозге дрозофилы есть оба.

На основе правил (Rule base)

Кто-то заранее записывает правила

Если фруктовый запах > 0.5 → подлететь
Если углекислый газ > 0.3 → избегать
Иначе → оставаться на месте

Правила видны, поэтому их легко понять. Но нужно заранее знать все случаи на свете, а если среда меняется, автор правил должен сам их исправлять. В ситуации, которой нет в правилах, система беспомощна.

У дрозофилы: врождённые реакции латерального рога. Правила написала эволюция, и одна муха за всю жизнь не может их изменить.

На основе обучения (Learning)

Смотрит на результат и сам исправляет правила

1. С текущими значениями делает прогноз и действует
2. Смотрит на реальный результат (еда +1, удар током −1)
3. значение ← значение + η × (результат − прогноз)

Правила напрямую не пишутся. Вместо этого веса исправляются на величину того, «насколько ошибся прогноз». Если повторять это снова и снова, правило само появляется внутри весов. Даже если среда изменится, система научится заново.

У дрозофилы: грибовидное тело. Когда приходит наказание или награда, дофаминовые нейроны посылают сигнал, и связи «клетка Кеньона → выходной нейрон» меняются. Вычисляет ли этот сигнал ошибку предсказания вида «результат − прогноз», пока исследуется; здесь для наглядности мы упростили его до правила ошибки предсказания.

Две мухи с одинаковыми врождёнными склонностями — что будет, если мир изменится?

Обе мухи вначале любят фруктовый запах A. Но в этой комнате у A бьёт током, а у B лежит сахар. Левая муха действует только по правилу, правая учится на результатах. Нажмите «Сменить среду», чтобы поменять опасную сторону.

Скорость обучения η
Скорость

Где записано выученное правило?

«Правило» правой мухи нигде не записано словами. Это всего лишь два значения «тяги подлететь», то есть два веса. С моделями глубокого обучения то же самое. Миллионы и миллиарды весов и есть правило, поэтому модель работает хорошо, но объяснить человеческими словами, «почему она так решила», трудно. Системы на правилах легко объяснить, обучающиеся системы легко адаптируются. Дрозофила использует оба подхода: в незнакомой ситуации держится на врождённых правилах, а по мере накопления опыта исправляет их выученными.

Лестница моделей — поднимаемся на четыре ступени по очереди

С каждой ступенью добавляется ещё одна способность, которую можно увидеть у дрозофилы. На каждой ступени вы сами управляете моделью, сталкиваетесь с задачей, которую она решить не может, и переходите на следующую.

1Простейшая

Один вход, одна связь — учуял углекислый газ, значит, избегай

Модель: y = w × xДрозофила: избегание CO₂

У дрозофилы

На усиках дрозофилы есть особые сенсорные нейроны, которые чувствуют только углекислый газ. Их сигнал сходится в одну гломерулу антеннальной доли, и дрозофила избегает углекислого газа без всякого обучения. Здесь мы сильно упростим этот путь до схемы «один датчик → одна связь → действие».

В нейросети

Это самая маленькая модель: если вход x, умноженный на вес w, превышает порог θ, она выдаёт 1, иначе 0. Вес означает «насколько громко слушать этот вход», а порог — «насколько легко реагировать».

Концентрация CO₂ x
Сила связи w
Порог θ

Разбор для начинающих

«Обучение» в этой модели — это подбор подходящих w и θ. Дрозофила рождается с уже настроенными эволюцией значениями. Если w увеличить, муха убегает даже от слабого запаха CO₂, если уменьшить — только от сильного.

Ограничения тоже очевидны. Эта модель смотрит ровно на один вход. Задачи, с которыми дрозофила сталкивается на самом деле и где нужно взвесить несколько сигналов сразу, например «пахнет и фруктами, и уксусом — съедобно ли это?», она решить не может. Поэтому добавим входов.

2Простая

Один нейрон, взвешивающий несколько входов, — перцептрон

Модель: y = σ(w₁x₁ + w₂x₂ + b)Дрозофила: распознавание запаха еды

У дрозофилы

Спелые фрукты пахнут одновременно фруктами (эфиры) и уксусом (уксусная кислота). Допустим, один нейрон получает сигналы от двух гломерул и решает, «пахнет ли это едой». Он придаёт двум сигналам разный вес, складывает их и принимает решение.

В нейросети

Каждый из нескольких входов умножается на свой вес, всё складывается, добавляется смещение b, а затем сигмоида σ превращает результат в вероятность от 0 до 1. Граница, которую может провести такая модель, — одна прямая линия на плоскости справа.

съедобный запах (ответ 1)несъедобный запах (ответ 0)граница, проведённая моделью✕ неверно классифицированный запах● закрашенная точка = обучающие данные (для обучения)○ пустая точка = валидационные данные (не для обучения, для оценки)
Задача
Скорость обучения η

Посмотрим на поведение — дрозофила выбирает незнакомые чашки с запахом (валидационные данные) по текущей модели

Что на самом деле делает «обучение» — четыре шага

  1. Прогноз: по текущим w₁, w₂, b вычисляем балл для одного запаха.
  2. Ошибка: измеряем разницу между правильным ответом (еда 1, не еда 0) и предсказанной вероятностью.
  3. Распределение вины: умножаем ошибку на величину каждого входа и находим, какой вес насколько виноват в ошибке.
  4. Исправление: немного сдвигаем веса в обратную сторону (на величину скорости обучения η). Повторяем это для всех запахов.

Выберите «Трудную» задачу и запустите обучение. Настоящая дрозофила подлетает к слабому запаху уксуса, но избегает слишком сильного. Область еды становится полосой между двумя линиями, а одной прямой такую полосу не вырезать. Сколько ни учи, точность застревает на каком-то уровне. Вот почему нужно подняться на следующую ступень.

3Обычная

Один скрытый слой — антеннальная доля → грибовидное тело → выходной нейрон

Модель: вход 2 → скрытый H → выход 1Дрозофила: цепь грибовидного тела

У дрозофилы

Сигналы антеннальной доли расходятся на тысячи клеток Кеньона в грибовидном теле. Каждая клетка Кеньона получает сигналы от нескольких выбранных гломерул и реагирует на своё собственное «сочетание запахов». Выходной нейрон собирает эти реакции и решает, подлететь или избегать. Обучение происходит в основном в связях «клетка Кеньона → выходной нейрон».

В нейросети

Между входом и выходом вставляем «скрытый слой». Каждый скрытый нейрон проводит на плоскости свою линию, а выходной нейрон комбинирует эти линии — так получаются изогнутые границы или границы в форме полосы. Это многослойный перцептрон (MLP).

Вход: запах→ Расчёт скрытого слоя (прямой проход)→ Выход и ошибка→ Распределение вины в обратную сторону (обратное распространение)→ Исправление весов
Данные
Способ обучения
Число скрытых нейронов H
Скорость обучения

Посмотрим на поведение — настоящее умение на незнакомых чашках с запахом (валидационные данные)

Зазубрил или понял — обучающие и валидационные данные

Ученик, заранее увидевший экзаменационные вопросы, может получить 100 баллов, но это не доказывает его знаний. С моделью то же самое. Поэтому данные делят на две части. Веса исправляются только по обучающим данным (закрашенные точки), а оценка ставится по валидационным данным (пустые точки), которые ни разу не использовались при обучении. Настоящее умение — это валидационный балл.

  1. Недообучение: даже обучающий балл низкий. Модель слишком проста. Трудная задача на ступени ② — как раз такой случай.
  2. В самый раз: обучающий и валидационный баллы оба высокие и близки друг к другу.
  3. Переобучение: обучающий балл высокий, а валидационный низкий. Если данных мало или среди ответов попадаются неверные, модель вместо правила заучивает отдельные примеры. Выберите «Мало данных с шумом» и проверьте сами.

Обычные способы борьбы с переобучением: увеличить объём данных, остановить обучение, когда валидационная функция потерь снова начинает расти (ранняя остановка), и не делать модель больше, чем нужно. Дрозофила сталкивается с похожей проблемой: чтобы не обобщать слишком сильно один случайный опыт, долговременная память формируется только после повторных тренировок. В реальном глубоком обучении помимо валидационных данных часто откладывают ещё и тестовые данные, которые используют ровно один раз в самом конце.

Обратное распространение простыми словами

Это расчёт, который распределяет ошибку на выходе назад, по цепочке «кто виноват». Чем сильнее скрытый нейрон связан с выходным и чем активнее он был в тот момент, тем большую долю вины он получает. Когда вина распределена, исправляются сразу все связи, вплоть до «вход → скрытый слой».

Дрозофила не распределяет вину в обратную сторону. Связи, ведущие к клеткам Кеньона, заданы почти случайно и не меняются, а дофамин исправляет только последние связи (клетка Кеньона → выходной нейрон). Если выбрать «Мушиный» способ, то при малом числе скрытых нейронов получается плохо, но если увеличить их до 30–60, полоса вырезается даже одними случайными линиями. Теперь понятно, зачем дрозофиле целых около 2000 клеток Кеньона.

4Многослойная

Многослойный зрительный путь — увидеть надвигающуюся тень и сбежать

Модель: слой за слоем, как свёрточная нейронная сетьДрозофила: фасеточный глаз → ламина → медулла → лобула → гигантское волокно

У дрозофилы

Когда приближается мухобойка, дрозофила мгновенно взлетает. Омматидии фасеточного глаза измеряют яркость, ламина разделяет «светлее» и «темнее», нейроны T4·T5 медуллы и лобулярной пластинки вычисляют направление движения, а нейроны LPLC2 лобулы замечают «движение, расходящееся во все стороны», то есть приближающийся объект. Через нейрон гигантского волокна этот сигнал превращается в прыжок-взлёт.

В нейросети

Устроено так же, как свёрточная нейронная сеть (CNN). На каждом слое одно и то же вычисление, смотрящее на небольшой участок, повторяется во всех позициях (разделение весов), а чем выше слой, тем шире поле зрения и сложнее признаки. Яркость → изменение яркости → направление движения → приближение. Каждый слой прост, но вместе они дают сложное решение.

Фасеточный глаз · яркость→ Ламина · светлее/темнее→ Медулла·лобулярная пластинка · направление движения→ Лобула · обнаружение приближения→ Гигантское волокно · прыжок
Показываемый объект
Угол обзора
Скорость

Это упрощённая вычислительная модель для наглядности. Число омматидиев уменьшено с примерно 800 до 169, а направление движения вычисляется прямо по скорости краёв объекта. Настоящие нейроны T4·T5 определяют направление, сравнивая сигналы соседних омматидиев с задержкой во времени.

Зачем складывать много слоёв

Правило, которое за один шаг узнаёт «приближающийся объект» по значениям яркости омматидиев, составить трудно: объект может быть тёмным или светлым, справа или слева. Вместо этого задачу делят на простые кусочки и поручают каждому слою по одному.

  1. Слой 1 (ламина): этот омматидий только что потемнел или посветлел?
  2. Слой 2 (медулла·лобулярная пластинка): если сравнить с соседними омматидиями, куда движется край?
  3. Слой 3 (лобула): есть ли движение наружу сразу во всех четырёх направлениях — вверх, вниз, влево и вправо?
  4. Выход (гигантское волокно): если да — взлетаем прямо сейчас.

У «проходящего мимо объекта» один край движется наружу, а противоположный — внутрь, так что условие для всех четырёх направлений не выполняется. Поэтому, даже если объект большой и быстрый, прыжка не будет. CNN, узнающая кошку на фотографии, тоже складывает слои по такому принципу: линии → углы → части → форма целиком.

Сравнение архитектур — модели этой страницы vs MLP · RNN · GRU · LSTM · CNN

Нажимайте кнопки, чтобы переключать схемы шести архитектур. Зелёные линии — обучаемые связи, пунктир — фиксированные связи, оранжевые стрелки — память, переходящая через время. Все схемы условные и показывают только принцип.

Шесть архитектур с первого взгляда

Обучаемые связи / все связи (вход 16×16, 3 класса)

Серая полоса = все связи, цветная полоса = обучаемые связи. В моделях глубокого обучения учатся все связи, а у мушиной модели большинство связей фиксировано. Тренажёр ниже и код 2 из общего раздела A считают те же самые числа.

Уровень обоснованности в последней строке: реальная цепь·измерения модель воспроизводит реальную нейронную цепь · похожая структура форма связей похожа, но это не доказывает, что вычисления те же · свободная аналогия · чистая аналогия лишь помогает объяснению, биологического основания нет.

Главные различия с точки зрения этой страницы

Лестница на странице ① (от простейшей к многослойной) рассказывала о линии MLP и CNN. «Мушиный» способ рядом с ней даёт другой ответ: «даже если скрытый слой не обучать, а сделать широким и разреженным, получается неплохо». В машинном обучении на той же идее основаны случайные признаки, машины экстремального обучения (ELM) и резервуарные вычисления. В мозге дрозофилы есть и цепи, работающие со временем, как RNN·LSTM (центральный комплекс), но модели этой страницы принимают решение за один шаг.

Тренажёр дрозофилы — «учить, учиться и решать» на примере картинок

Как в Teachable Machine, на примере проходим весь процесс: ① собираем картинки-примеры для каждого класса, ② обучаем, ③ проверяем на незнакомых картинках. На одних и тех же картинках параллельно обучены «мушиный» способ (учится только выходной слой) и MLP глубокого обучения (учатся все слои). Картинки размером 16×16 сделаны с дрожанием, будто нарисованы от руки.

① Собираем примеры
Еда · круг · 8 из 24 обучающих картинок
Опасность · крестик · 8 из 24 обучающих картинок
Дорога · горизонтальная линия · 8 из 24 обучающих картинок

Для каждого класса сделали 30 картинок: 24 пошли на обучение, 6 (всего 18) — на валидацию. Валидационные картинки во время обучения ни разу не показываются.

② Обучаем (30 эпох)
0%50%100%1102030ЭпохаРасчётные значения (фиксированный seed)

Зелёный = «мушиный» способ · синий = MLP · пунктир = точность на обучении, сплошная = точность на валидации

83%валидационная точность «мушиного» способа (на обучении 100%)
89%валидационная точность MLP (32 скрытых нейрона; на обучении 100%)
3003обучаемых связи в «мушином» способе (всего 13 003)
8323обучаемые связи MLP (32 скрытых; обучаются все). В разделе сравнения архитектур у MLP 64 скрытых нейрона
③ Решаем на незнакомых картинках
Тестовая картинка
«Мушиный» способ · 18 валидационных
КругКрестикГоризонтальная линия
Круг420
Крестик060
Горизонтальная линия015
MLP · 18 валидационных
КругКрестикГоризонтальная линия
Круг420
Крестик060
Горизонтальная линия006

Что видно из этого примера

Обе модели верно распознали 100% обучающих картинок, но на валидационных у «мушиного» способа 83%, а у MLP — 89%. Этот разрыв (между обучением и валидацией) показывает степень переобучения. У «мушиного» способа обучаемых связей примерно 36% от MLP, но по валидационной точности он отстаёт ненамного. Обе модели приняли 2 из 6 валидационных кругов за крестики (см. матрицу ошибок ниже). Когда на класс приходится всего 24 обучающие картинки, такие ошибки случаются. Чтобы попробовать на собственных рисунках, запустите код 2 из общего раздела A в Colab.

Что общего с Teachable Machine

Порядок действий тот же: создать классы → собрать примеры → обучить → распознавать новые входные данные.

Чем отличается

Teachable Machine обучает только маленький классификатор поверх признаков, которые уже выучила большая модель для изображений (MobileNet), — это перенос обучения (transfer learning). В нашем примере две модели учатся на рисунках 16×16 с нуля. Поэтому они хорошо подходят для простых фигур, но не для сложных входных данных вроде фотографий.

Всё на одной странице — четыре ступени лестницы

Чем выше ступень, тем больше у модели связей, тем более сложные границы она проводит и тем более глубокий смысл извлекает. Цепочка дрозофилы «органы чувств → нервы → мозг → поведение» вмещает все эти ступени в одном теле.

СтупеньУстройство моделиПример у дрозофилыНовая способностьОставшееся ограничение
① Совсем простая1 вход → 1 выход
y = порог(w·x)
Углекислый газ → избеганиеРеагирует на сильный сигналВидит только один вход
② ПростаяНесколько входов → 1 нейрон
Перцептрон
Фруктовый запах + запах уксуса → еда или нет?Взвешивает несколько сигналов, учится на ошибкахТолько одна прямая граница
③ ОбычнаяВход → скрытый слой → выход
Многослойный перцептрон
Антеннальная доля → грибовидное тело → выходной нейронИзогнутые и полосовые границы, распознавание сочетанийДля больших и сложных входов нужно огромное число скрытых нейронов
④ Много слоёвМного слоёв друг на друге
как в свёрточной нейронной сети
Фасеточный глаз → ламина → медулла → лобула → гигантское волокноИз простых признаков складывает смысл вроде «приближается»Чем глубже сеть, тем больше данных и вычислений нужно для обучения
Вес

Сила синапса

Значение, которое меняется при обучении. Тормозные синапсы — это отрицательные веса.

Функция активации

Сработать или промолчать

Сигнал посылается, только если превышен порог. Именно этот излом придаёт смысл наложению слоёв.

Сигнал ошибки

Дофамин (наказание/награда)

Сообщает, что пошло не так. У дрозофилы он не передаётся назад через слои, а впрыскивается прямо в определённые связи.

Модель целиком

Коннектом

Схема соединений всего мозга. Кто с кем связан и насколько сильно — это и есть устройство модели.

Пределы аналогии. Настоящие нейроны обмениваются сигналами в виде электрических импульсов, и одна и та же связь может работать по-разному в зависимости от времени и состояния организма. Трёхмерный мозг и вычислительные модели на этой странице сильно упрощены, чтобы показать принципы. Глубокое обучение не скопировало мозг, а позаимствовало у него каркас: «слои, сила связей, пороги и исправление по ошибке».

Третья страница: проект, в котором целиком запущенная настоящая схема соединений мозга дрозофилы управляет мобом в Minecraft, — в сравнении с двумя предыдущими страницами. Мозг дрозофилы в Minecraft — нервная система, которая движется по одной лишь схеме соединений.

Код для Colab — запустите эту страницу сами

Обе программы используют только библиотеки, которые уже установлены в Colab. Нажмите «Скачать блокнот (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в новую ячейку блокнота.

Код 1 · «Мушиный» способ на NumPy — фиксированное случайное расширение + обучение только выходного слояСвязан с разделом ③ «Мушиный» способ и «Практикум: сравнение архитектур» · numpy · меньше 1 с на CPU

Создаёт фиксированные связи для 1000 клеток Кеньона и поверх разреженного кода, в котором включаются только верхние 8%, обучает по дельта-правилу всего один выходной слой. Чтобы подставить свои данные, замените X (примеры × 256) и Y (номера правильных классов).

Результат запуска (запущено 2026-10-04, numpy 2.4 · CPU). Начальное значение генератора случайных чисел зафиксировано, поэтому результат всегда одинаков.
Код 2 · Пять обычных моделей глубокого обучения против трёх моделей дрозофилы на PyTorchСвязан с «Практикум: сравнение архитектур · Тренажёр» · torch, numpy, matplotlib · около 1 мин на CPU

Обучает MLP, CNN, RNN, GRU, LSTM и три модели дрозофилы на одних и тех же рисунках с одинаковым разбиением и сравнивает число связей и точность. Это те же вычисления, что в «Примере с тренажёром», только на более крупном наборе данных (4 класса, 160 рисунков), — и вы делаете их сами.

Результат запуска (запущено 2026-10-04, PyTorch 2 · numpy 2.4 · CPU). Обучение проводилось отдельно с двумя seed. У моделей дрозофилы seed фиксированных связей задан заранее, поэтому для обоих seed результат одинаков. Числа могут меняться в зависимости от seed, версий и оборудования.

Чем это отличается от обычного кода глубокого обучения

ПараметрКод 1 («мушиный» способ)Обычный код глубокого обучения
Что обучаетсяТолько выходной слой (3000)Все слои (16 643)
Вычисление градиентаНе нужно: ошибка × входloss.backward() вычисляет его для каждого слоя по цепному правилу
Скрытое представлениеСлучайно задано при рожденииОбучается под данные
Форма скрытого слояШирокий и разреженный (включены лишь 8% из 1000)Узкий и плотный (все 64 имеют значения)
Ключевая строкаW_out += lr * np.outer(y − p, k)opt.step()
Нужные инструментыТолько NumPyPyTorch (автодифференцирование)
Название в машинном обученииСлучайные признаки, экстремальная обучающая машина, резервуарные вычисленияМногослойный перцептрон (MLP)
Показать обычный код глубокого обучения для сравнения (mlp_backprop.py, PyTorch)

Промпты для ИИ — возьмите этот код за отправную точку

Промпты, которые можно вставить в ИИ-помощника вроде ChatGPT, Qwen или Claude. При нажатии «Копировать» после промпта добавляется выбранный код. Замените текст в 〔 〕 на описание своей ситуации.

Какой код приложить

Ответ ИИ — лишь отправная точка. Обязательно проверяйте предложенные статьи, числа и библиотечные функции по первоисточникам и официальной документации. Если вы пользовались помощью ИИ при подготовке конкурсной работы или статьи, укажите это и объём помощи согласно правилам организаторов и журнала.

Словарь терминов

Это тот же словарь, что и у жёлтых пунктирных подчёркиваний в тексте. Наведите курсор на подчёркнутое слово или нажмите на него — появится то же объяснение.

Сборник аналогий — и где они не работают

Аналогия — первый шаг к пониманию, но и семя заблуждений. Для аналогий с дрозофилой и мозгом указана их сила: Прямая есть данные, что там действительно происходит то же самое · Частичная похожи лишь некоторые свойства · Нет соответствие неизвестно

ПонятиеБытовая аналогияАналогия с дрозофилой и мозгомГде аналогия не работает
ПерцептронОценить мнения нескольких людей баллами, сложить их и принять решение, если сумма превысила планкуЧастичная Нейрон собирает входные сигналы и срабатывает, когда они превышают порогВ настоящем нейроне входные сигналы со временем накапливаются и утекают. У перцептрона времени нет (см. модель «интегрировать-и-сработать с утечкой» в Выпуске 3)
Скрытый слойМенеджеры среднего звена в компании: собирают отчёты с мест и передают руководителю краткую сводкуЧастичная Клетки Кеньона в грибовидном теле заново и широко представляют сигналы запахаВходные связи клеток Кеньона задаются случайно и не обучаются. Скрытые слои в глубоком обучении обучаются
Обучение весовЗаписывать решённые неверно задачи в тетрадь ошибок и исправлять их в следующий разПрямая Дофамин меняет силу выходных связей грибовидного тела и связывает запахи с последствиямиВычисляет ли дофаминовый сигнал дрозофилы «ошибку предсказания», ещё изучается. Правило обучения в этом выпуске упрощено для наглядности
Обратное распространениеКогда результат плохой, распределять ответственность в обратном порядке — от конца производственной линииНетНет известных данных о том, что мозг передаёт точные градиенты назад слой за слоем
Многослойный зрительный путьСборочный конвейер на заводе: на каждом этапе делают детали чуть сложнееЧастичная По пути фасеточный глаз → ламина → медулла → лобула выделяется всё более сложное движениеФильтры в ④ заданы вручную для наглядности. CNN обучает свои фильтры
Перевод входа в числаОбменять деньги всех стран на одну валютуПрямая Сенсорные нейроны превращают свет, запах и вкус в электрические сигналыНастоящие сигналы — это частота и время спайков. Числа частоты разрядов в этом выпуске — условные примеры

Об авторе и источники

E-1 Об авторе · E-2 Научные источники · E-3 Источники иллюстраций

E-1 Об авторе

Sangsun Ahn (генеральный директор M-Robo Inc.)

Работал в Корейской корпорации электробезопасности (KESCO) и в газете Maeil Business Newspaper, затем основал выделившуюся из Maeil Business Newspaper компанию M-Robo Inc., которую возглавляет по сей день. M-Robo начиналась как внутренний стартап медиакомпании и выросла в медиастартап: она предоставляла газете Kukmin Ilbo робота-журналиста (Stockbot) и выполнила множество проектов для Korea Internet & Security Agency (KISA), Korea Press Foundation, Korea Communications Agency и других организаций. Сейчас компания развивает собственный новостной ИИ-сервис Money-Robo. На посту руководителя он победил в хакатоне Asia Open Data Hackathon и дважды получил награду Министра внутренних дел и безопасности Республики Корея за вклад в развитие стартапов в области данных; он автор и правообладатель пяти патентов в сфере искусственного интеллекта и блокчейна. Автор книги «Преступления с ИИ и самозащита» (на корейском языке); разработал электронные курсы по финтеху, статистике и искусственному интеллекту для Института онлайн-образования на протяжении всей жизни при Корейском технологическом и образовательном университете (KOREATECH). Доктор экономических наук (Университет Тонгук, математическая микроэкономика). Преподаёт дисциплины, связанные с данными и искусственным интеллектом, в нескольких университетах, в том числе в Университете Кукмин и Университете Хосо. Подробный профиль

Курсы

  • Sangsun Ahn (2025). «Наука о данных для бизнеса», конспект лекций (на корейском языке). Кафедра конвергенции ИИ, Open Cyber University of Korea.
  • Sangsun Ahn (2025). [K-Digital] Искусственный интеллект: обработка естественного языка (на корейском языке). STEP (Smart Training Education Platform), Институт онлайн-образования на протяжении всей жизни, KOREATECH.
  • Sangsun Ahn (2024). [K-Digital] Основы анализа данных в финтехе (на корейском языке). STEP (Smart Training Education Platform), Институт онлайн-образования на протяжении всей жизни, KOREATECH.

Перейти к курсам STEP: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Если ссылки не открываются из-за обновления сайта, зайдите на www.step.or.kr.

Статьи и доклады

  • Sangsun Ahn (2025). Модели прогнозирования расходов домохозяйств на основе панельных данных Korean Retirement and Income Study: подход на основе моделей ИИ (на корейском языке). Future Society, 16(2). Полный текст
  • Sangsun Ahn (2025). Модели прогнозирования расходов домохозяйств на основе панельных данных Korean Retirement and Income Study: подход с использованием ИИ (на корейском языке). Доклад на конференции KReIS (2025.05.13), National Pension Research Institute, National Pension Service. Слайды
  • Sangsun Ahn (2025). Алгоритм обнаружения подозрительных сделок с наркотиками по текстам в соцсетях: анализ шаблонов и контекста (на корейском языке). Future Society, 16(1). Полный текст
  • Sangsun Ahn (2024). Статистические методы противодействия состязательным данным для защиты моделей обнаружения аномалий в финансах: эмпирический анализ и результаты моделирования (на корейском языке). Future Society, 15(3). Полный текст
  • Sangsun Ahn (2024). Решение на основе ИИ для обнаружения публикаций в соцсетях по характеристикам виртуальных персонажей (на корейском языке). Стендовый доклад на 2024 Summer Newmedia Party (2024.06.19), Seoul Media Institute of Technology.
  • Sangsun Ahn (2024). Модели машинного обучения на панельных данных о производственном травматизме (на корейском языке). Стендовый доклад на 10-й конференции Panel Study of Workers' Compensation Insurance (2024.05.17), Labor Welfare Research Institute, Korea Workers' Compensation & Welfare Service.
  • Sangsun Ahn (2024). Анализ и прогнозирование временных рядов виртуальных активов: сравнение моделей временных рядов и моделей ИИ, предложения по улучшению (на корейском языке). Future Society, 15(1). Полный текст

E-2 Научные источники

  1. [R1] Dorkenwald, S., Matsliah, A., Sterling, A. R., … Murthy, M. (2024). Neuronal wiring diagram of an adult brain. Nature, 634, 124–138. doi:10.1038/s41586-024-07558-y — вступление [1], раздел «3D-мозг»
  2. [R2] Aso, Y., Hattori, D., Yu, Y., … Rubin, G. M. (2014). The neuronal architecture of the mushroom body provides a logic for associative learning. eLife, 3, e04577. doi:10.7554/eLife.04577 — вступление [4], раздел ③
  3. [R3] Azevedo, F. A. C., Carvalho, L. R. B., Grinberg, L. T., … Herculano-Houzel, S. (2009). Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain. Journal of Comparative Neurology, 513(5), 532–541. doi:10.1002/cne.21974 — вступление [5]
  4. [R4] Suh, G. S. B., Wong, A. M., Hergarden, A. C., … Anderson, D. J. (2004). A single population of olfactory sensory neurons mediates an innate avoidance behaviour in Drosophila. Nature, 431, 854–859. doi:10.1038/nature02980 — раздел ① (избегание углекислого газа)
  5. [R5] Maisak, M. S., Haag, J., Ammer, G., … Borst, A. (2013). A directional tuning map of Drosophila elementary motion detectors. Nature, 500, 212–216. doi:10.1038/nature12320 — раздел ④ (T4·T5)
  6. [R6] Klapoetke, N. C., Nern, A., Peek, M. Y., … Card, G. M. (2017). Ultra-selective looming detection from radial motion opponency. Nature, 551, 237–241. doi:10.1038/nature24626 — раздел ④ (обнаружение приближения нейронами LPLC2)

Сноски [1]– в тексте: источники чисел и фактов

№ЧтоЗначениеИсточник
[1]Общее число нейронов и синапсов в мозге дрозофилыОколо 140 тыс.; около 50 млнКонсорциум FlyWire (2024) Nature — коннектом всего мозга взрослой мухи
[2]Число омматидиев в одном фасеточном глазуОколо 750–800Хрестоматийное значение для зрительной системы дрозофилы (различается у разных особей и линий)
[3]Типы обонятельных рецепторных нейронов / число гломерул в антеннальной долеОколо 50 типов / около 50Типичные значения из исследований обоняния дрозофилы (напр., Couto и др. 2005, Curr Biol)
[4]Число клеток Кеньона в одном грибовидном теле; типы выходных нейроновОколо 2000 / 21 типAso и др. (2014) eLife — анатомия цепи грибовидного тела
[5]Число нейронов в мозге человекаОколо 86 млрдAzevedo и др. (2009) J Comp Neurol
[6]Избегание углекислого газа; притяжение или избегание в зависимости от концентрации уксуса—Suh и др. (2004) Nature · Semmelhack & Wang (2009) Nature
[7]Определение направления движения нейронами T4·T5; обнаружение приближения нейронами LPLC2—Maisak и др. (2013) Nature · Klapoetke и др. (2017) Nature

E-3 Источники иллюстраций

  • Числа [2] и [3] во вступлении — хрестоматийные значения для зрительной и обонятельной систем дрозофилы (они различаются у разных особей и линий). Подробные источники — в таблице ниже
  • Персонажи в заключительной сцене: персонажи лаборатории «Глубокое обучение от A до Z»

Советы для преподавателя (TIP)

Методическое руководство для преподавателей, наставников по обучению на рабочем месте (OJT) и тьюторов. Время указано примерно — подстраивайте его под реальное занятие.

АудиторияСтуденты и работающие взрослые, которые только начинают изучать глубокое обучение. Знания биологии не нужны
Что нужно знать заранееСложение, умножение, чтение графиков. Python нужен только для практики в Colab
Цели обучения① Сопоставить цепочку «органы чувств → нервы → мозг → поведение» с цепочкой «вход → скрытый слой → выход» ② Объяснить, почему перцептрон не решает задачу с полосой, а скрытый слой решает ③ Распознать переобучение, сравнив точность на обучающих и валидационных данных
Примерное времяЧтение 50–60 мин · демонстрация анимаций 25 мин · практика в Colab 30 мин (Код 1 — 10 мин; Код 2 — 2 мин на запуск + 15 мин на разбор)

Три сценария занятия

Лекция, 50 мин

Акцент на понятиях

Вступление 5 мин (почему дрозофила) → таблица соответствия «органы чувств → нервы → мозг» 10 мин → правила против обучения 10 мин → лестница ①②③ 20 мин → контрольные вопросы 5 мин.

OJT на рабочем месте, 90 мин

Акцент на применении в работе

Полигон «правила против обучения» 20 мин (сравнение с системами правил на производстве) → переобучение в ②③ 20 мин → чтение матрицы ошибок на примере с тренажёром 20 мин → запуск и разбор Кода 2 30 мин.

Индивидуальные занятия 1:1

Темп по уровню

Новичкам — только «Правила против обучения» и ①②. Слушатели среднего уровня меняют число скрытых нейронов в ③, сами вызывают переобучение и сравнивают число обучаемых связей (3003) в Коде 1 и в примере с тренажёром.

Советы по разделам

РазделВопрос, чтобы остановиться и спроситьЧто сделать руками
Почему дрозофила«140 тысяч нейронов — это много или мало?»Сравнить с 86 млрд нейронов в мозге человека
Электрические сигналы«Зачем переводить запах и свет в одни и те же единицы?»Меняйте силу стимула и смотрите, меняется ли вслед за ней частота разрядов
Правила против обучения«Кто первым приспособится, если среда изменится?»Нажмите «Изменить среду» и сравните успешность двух мух
② Перцептрон«Можно ли отделить полосу одной прямой?»Запустите обучение на задаче с полосой и посмотрите, где застревает точность
③ Скрытый слой«Всегда ли лучше добавлять скрытые нейроны?»При малом объёме данных и 40 скрытых нейронах посмотрите на разрыв между точностью на обучающих и валидационных данных
④ Много слоёв«Почему муха не взлетает от объектов, пролетающих мимо?»Нажмите по очереди «приближается», «пролетает мимо» и «удаляется»
Практикум: пример с тренажёром«Почему обе модели запутались на одних и тех же рисунках?»Нажимайте по очереди кнопки тестовых рисунков и сравнивайте с матрицей ошибок

Топ-5 частых заблуждений

ЗаблуждениеКак на самом делеЧто показать
Мозг дрозофилы работает точно так же, как глубокое обучениеПохожи лишь слоистое устройство и обучение силы связей; обратное распространение и вычисления без времени отличаются от мозгаСтрока «Обратное распространение» в сборнике аналогий D
Чем больше скрытых нейронов, тем лучшеПри малом объёме данных модель заучивает обучающие данные, и точность на валидации падает (переобучение)Настройка «мало данных» в ③
Если хорошо прописать правила, обучение не нужноКогда среда меняется, правила раз за разом ошибаются. Обучение подстраивается заново«Изменить среду» в «Правилах против обучения»
Высокая точность — значит, модель хорошаяТочности, измеренной на обучающих данных, доверять трудно. Её измеряют на отдельно отложенных валидационных данныхКривые обучения и валидации в примере с тренажёром (обучение 100%, валидация 83–89%)
«Мушиный» способ хуже глубокого обученияИмея вчетверо меньше обучаемых связей, он показал похожую точность на той же задаче с рисунками (Код 2)Таблица результатов Кода 2

Контрольные вопросы (нажмите, чтобы раскрыть пояснение)

В1. Каков выход перцептрона с двумя входами (1, 0), весами (0.8, −0.5) и порогом 0.5?

Сумма = 1×0.8 + 0×(−0.5) = 0.8. Так как 0.8 ≥ 0.5, выход равен 1.

В2. Почему перцептрон не может решить задачу с «полосой» (еда только посередине)?

Перцептрон делит пространство только одной прямой (плоскостью). Полосе нужны две границы, по одной с каждой стороны, поэтому одной прямой её не отделить. Скрытый слой строит несколько границ и объединяет их.

В3. Точность на обучающих данных 96%, на валидационных — 59%. Что произошло? Назовите два способа это исправить.

Переобучение: модель заучила обучающие данные. Способы исправить — любые два из трёх: собрать больше данных, уменьшить число скрытых нейронов, раньше остановить обучение.

В4. Какие связи в «мушином» способе обучаются, а какие зафиксированы?

Зафиксированы: проекционные нейроны → клетки Кеньона (случайные разреженные связи). Обучаются: клетки Кеньона → выходные нейроны (их меняет дофамин).

В5. В Коде 2 «мушиный» способ (4004 обучаемых связи) показал точность, близкую к MLP (16 708 обучаемых связей). О чём это говорит?

Даже с одним лишь широким, разреженным и фиксированным представлением простые задачи с рисунками вполне решаются обучением только выходного слоя. Однако само представление улучшаться не может, поэтому на сложных задачах у подхода есть пределы.

Задания в Colab

Базовое

В Коде 1 измените TOP (доля включённых клеток) с 0.08 на 0.5, опишите, как изменились точность на обучающих данных и число включённых клеток Кеньона, и в двух предложениях объясните, чем полезна разреженность.

Посложнее

В Коде 2 задайте размер скрытого слоя MLP 8, 64 и 512 и сравните точность на валидации для двух seed. Вместе с кривыми обучения (ячейка 7) разберите, видно ли переобучение.

Настройка сложности и что изучить дальше

НовичкамРаздел ④ и части про GRU/LSTM в «Сравнении архитектур» можно пропустить — логика не нарушится. Главное — хорошо разобрать «Правила против обучения» и ②③
УглублённоПредложите слушателям подготовить доклад, сравнив «мушиный» способ со случайными признаками и экстремальными обучающими машинами (ELM) в машинном обучении. Найденные статьи проверяйте по первоисточникам
Что изучить дальшеSangsun Ahn, «Наука о данных для бизнеса», конспект лекций (обзор науки о данных, на корейском языке) · STEP [K-Digital] Искусственный интеллект: обработка естественного языка · STEP [K-Digital] Основы анализа данных в финтехе
Материалы для преподавателяКритерии оценки контрольных вопросов и примеры ответов к заданиям — на странице «Ответы для преподавателя» (Выпуск 1)

Отличная работа!

Вы дочитали до конца «Выпуск 1: Путешествие по мозгу дрозофилы». Обитатели лаборатории подведут итоги — каждый по-своему.

Профессор
ПрофессорМы прошли вслед за дрозофилой путь от органов чувств до поведения и наращивали нейросеть ступень за ступенью.
  • «Органы чувств → нервы → мозг → поведение» имеет тот же каркас, что и «вход → скрытый слой → выход»
  • Скрытый слой решает задачу с полосой, с которой не справляется перцептрон
  • Даже «мушиный» способ всего с 4004 обучаемыми связями достиг точности на тесте 0.84
Ассистент
АссистентА муха-по-правилам, как только среда поменялась, всё время ошибалась!
Муха-исследователь
Муха-исследовательУ меня в мозгу всего 140 тысяч нейронов. И я ими всё делаю, между прочим.