Даже в крошечной, с маковое зёрнышко, голове дрозофилы сигнал идёт по чётко заданному пути. Усики и фасеточные глаза превращают мир в электрические сигналы, нервы упорядочивают и передают их, а мозг понимает: «это еда», «это опасно». И правила этих решений никто не задал заранее — они выучены на опыте. Если пройти по этому пути, становится естественно видно, как искусственная нейросеть вырастает из простейшей модели в многослойное глубокое обучение.
Мозг человека слишком велик, а компьютерные нейросети слишком абстрактны. Дрозофила — как раз посередине. Весь путь от органов чувств до поведения виден целиком, и каждый нейрон на этом пути можно в эксперименте включать и выключать.
В 2024 году была завершена схема соединений (коннектом) всего мозга дрозофилы со всеми нейронами и связями. В терминах нейросетей это всё равно что видеть структуру и связи модели целиком.
Учуять запах и подлететь, увидеть надвигающуюся тень и взлететь. Путь «органы чувств → нервы → мозг → поведение» короток, поэтому по нему удобно идти шаг за шагом.
Генетическими инструментами можно остановить работу конкретных нейронов. Это как эксперимент в нейросети: удалить один нейрон и посмотреть, как изменится качество.
Свет — это фотоны, запах — молекулы, звук — колебания воздуха, вкус — растворённые в воде вещества. Раздражители совсем разные, но к мозгу все они приходят в одной форме: как изменения напряжения на мембране нейрона и электрические импульсы (спайки).
Молекула, поглотившая свет, меняет форму, это открывает ионные каналы и меняет напряжение клетки.
Когда молекула запаха связывается с рецептором, ионы входят и выходят, напряжение растёт, а при превышении порога нейрон выпускает спайк.
Когда кончик усика колеблется, механочувствительные нейроны внутри растягиваются и создают электрический сигнал.
Дрозофила пробует вкус даже лапками. При контакте с сахаром или горьким веществом вкусовые нейроны выдают электрический сигнал.
Есть и исключения. Нейроны, передающие сигнал на короткое расстояние, как фоторецепторы фасеточного глаза, вместо спайков плавно повышают и понижают напряжение. Выберите «Свет» и посмотрите на разницу.
Как на микроскопическом снимке с флуоресцентной окраской, каждая область мозга изображена точками. Розовые точки — нервная ткань, красные — органы чувств, зелёное свечение — текущий сигнал. Это схематичная модель, а не реальные анатомические данные. Взаимное расположение областей (спереди-сзади, слева-справа) соблюдено, но размеры и формы упрощены.
Четыре этапа у дрозофилы один к одному совпадают с базовой структурой нейросети. Все модели на лестнице ниже — это история о том, как в этой рамке становится всё больше слоёв.
Обонятельные рецепторные нейроны усиков реагируют на молекулы запаха, омматидии фасеточного глаза — на свет. Сила реакции и есть число.
Антеннальная доля и ламина собирают входящие сигналы, выравнивают их силу и переводят в удобную форму, например «стало светлее / стало темнее».
Грибовидное тело, латеральный рог и лобула извлекают смысл вроде «этот запах — еда» или «эта тень — приближающийся хищник».
Подлететь, избегать или взлететь? Сравниваются баллы разных сигналов, и побеждает одно действие.
Поручить компьютеру работу можно двумя способами. Либо человек прописывает правила одно за другим (на основе правил), либо даёт только примеры и результаты, а правила компьютер находит сам (на основе обучения). Глубокое обучение — это второй способ, а в мозге дрозофилы есть оба.
Правила видны, поэтому их легко понять. Но нужно заранее знать все случаи на свете, а если среда меняется, автор правил должен сам их исправлять. В ситуации, которой нет в правилах, система беспомощна.
У дрозофилы: врождённые реакции латерального рога. Правила написала эволюция, и одна муха за всю жизнь не может их изменить.
Правила напрямую не пишутся. Вместо этого веса исправляются на величину того, «насколько ошибся прогноз». Если повторять это снова и снова, правило само появляется внутри весов. Даже если среда изменится, система научится заново.
У дрозофилы: грибовидное тело. Когда приходит наказание или награда, дофаминовые нейроны посылают сигнал, и связи «клетка Кеньона → выходной нейрон» меняются. Вычисляет ли этот сигнал ошибку предсказания вида «результат − прогноз», пока исследуется; здесь для наглядности мы упростили его до правила ошибки предсказания.
Обе мухи вначале любят фруктовый запах A. Но в этой комнате у A бьёт током, а у B лежит сахар. Левая муха действует только по правилу, правая учится на результатах. Нажмите «Сменить среду», чтобы поменять опасную сторону.
«Правило» правой мухи нигде не записано словами. Это всего лишь два значения «тяги подлететь», то есть два веса. С моделями глубокого обучения то же самое. Миллионы и миллиарды весов и есть правило, поэтому модель работает хорошо, но объяснить человеческими словами, «почему она так решила», трудно. Системы на правилах легко объяснить, обучающиеся системы легко адаптируются. Дрозофила использует оба подхода: в незнакомой ситуации держится на врождённых правилах, а по мере накопления опыта исправляет их выученными.
С каждой ступенью добавляется ещё одна способность, которую можно увидеть у дрозофилы. На каждой ступени вы сами управляете моделью, сталкиваетесь с задачей, которую она решить не может, и переходите на следующую.
Модель: y = w × xДрозофила: избегание CO₂
На усиках дрозофилы есть особые сенсорные нейроны, которые чувствуют только углекислый газ. Их сигнал сходится в одну гломерулу антеннальной доли, и дрозофила избегает углекислого газа без всякого обучения. Здесь мы сильно упростим этот путь до схемы «один датчик → одна связь → действие».
Это самая маленькая модель: если вход x, умноженный на вес w, превышает порог θ, она выдаёт 1, иначе 0. Вес означает «насколько громко слушать этот вход», а порог — «насколько легко реагировать».
«Обучение» в этой модели — это подбор подходящих w и θ. Дрозофила рождается с уже настроенными эволюцией значениями. Если w увеличить, муха убегает даже от слабого запаха CO₂, если уменьшить — только от сильного.
Ограничения тоже очевидны. Эта модель смотрит ровно на один вход. Задачи, с которыми дрозофила сталкивается на самом деле и где нужно взвесить несколько сигналов сразу, например «пахнет и фруктами, и уксусом — съедобно ли это?», она решить не может. Поэтому добавим входов.
Модель: y = σ(w₁x₁ + w₂x₂ + b)Дрозофила: распознавание запаха еды
Спелые фрукты пахнут одновременно фруктами (эфиры) и уксусом (уксусная кислота). Допустим, один нейрон получает сигналы от двух гломерул и решает, «пахнет ли это едой». Он придаёт двум сигналам разный вес, складывает их и принимает решение.
Каждый из нескольких входов умножается на свой вес, всё складывается, добавляется смещение b, а затем сигмоида σ превращает результат в вероятность от 0 до 1. Граница, которую может провести такая модель, — одна прямая линия на плоскости справа.
Выберите «Трудную» задачу и запустите обучение. Настоящая дрозофила подлетает к слабому запаху уксуса, но избегает слишком сильного. Область еды становится полосой между двумя линиями, а одной прямой такую полосу не вырезать. Сколько ни учи, точность застревает на каком-то уровне. Вот почему нужно подняться на следующую ступень.
Модель: вход 2 → скрытый H → выход 1Дрозофила: цепь грибовидного тела
Сигналы антеннальной доли расходятся на тысячи клеток Кеньона в грибовидном теле. Каждая клетка Кеньона получает сигналы от нескольких выбранных гломерул и реагирует на своё собственное «сочетание запахов». Выходной нейрон собирает эти реакции и решает, подлететь или избегать. Обучение происходит в основном в связях «клетка Кеньона → выходной нейрон».
Между входом и выходом вставляем «скрытый слой». Каждый скрытый нейрон проводит на плоскости свою линию, а выходной нейрон комбинирует эти линии — так получаются изогнутые границы или границы в форме полосы. Это многослойный перцептрон (MLP).
Ученик, заранее увидевший экзаменационные вопросы, может получить 100 баллов, но это не доказывает его знаний. С моделью то же самое. Поэтому данные делят на две части. Веса исправляются только по обучающим данным (закрашенные точки), а оценка ставится по валидационным данным (пустые точки), которые ни разу не использовались при обучении. Настоящее умение — это валидационный балл.
Обычные способы борьбы с переобучением: увеличить объём данных, остановить обучение, когда валидационная функция потерь снова начинает расти (ранняя остановка), и не делать модель больше, чем нужно. Дрозофила сталкивается с похожей проблемой: чтобы не обобщать слишком сильно один случайный опыт, долговременная память формируется только после повторных тренировок. В реальном глубоком обучении помимо валидационных данных часто откладывают ещё и тестовые данные, которые используют ровно один раз в самом конце.
Это расчёт, который распределяет ошибку на выходе назад, по цепочке «кто виноват». Чем сильнее скрытый нейрон связан с выходным и чем активнее он был в тот момент, тем большую долю вины он получает. Когда вина распределена, исправляются сразу все связи, вплоть до «вход → скрытый слой».
Дрозофила не распределяет вину в обратную сторону. Связи, ведущие к клеткам Кеньона, заданы почти случайно и не меняются, а дофамин исправляет только последние связи (клетка Кеньона → выходной нейрон). Если выбрать «Мушиный» способ, то при малом числе скрытых нейронов получается плохо, но если увеличить их до 30–60, полоса вырезается даже одними случайными линиями. Теперь понятно, зачем дрозофиле целых около 2000 клеток Кеньона.
Модель: слой за слоем, как свёрточная нейронная сетьДрозофила: фасеточный глаз → ламина → медулла → лобула → гигантское волокно
Когда приближается мухобойка, дрозофила мгновенно взлетает. Омматидии фасеточного глаза измеряют яркость, ламина разделяет «светлее» и «темнее», нейроны T4·T5 медуллы и лобулярной пластинки вычисляют направление движения, а нейроны LPLC2 лобулы замечают «движение, расходящееся во все стороны», то есть приближающийся объект. Через нейрон гигантского волокна этот сигнал превращается в прыжок-взлёт.
Устроено так же, как свёрточная нейронная сеть (CNN). На каждом слое одно и то же вычисление, смотрящее на небольшой участок, повторяется во всех позициях (разделение весов), а чем выше слой, тем шире поле зрения и сложнее признаки. Яркость → изменение яркости → направление движения → приближение. Каждый слой прост, но вместе они дают сложное решение.
Это упрощённая вычислительная модель для наглядности. Число омматидиев уменьшено с примерно 800 до 169, а направление движения вычисляется прямо по скорости краёв объекта. Настоящие нейроны T4·T5 определяют направление, сравнивая сигналы соседних омматидиев с задержкой во времени.
Правило, которое за один шаг узнаёт «приближающийся объект» по значениям яркости омматидиев, составить трудно: объект может быть тёмным или светлым, справа или слева. Вместо этого задачу делят на простые кусочки и поручают каждому слою по одному.
У «проходящего мимо объекта» один край движется наружу, а противоположный — внутрь, так что условие для всех четырёх направлений не выполняется. Поэтому, даже если объект большой и быстрый, прыжка не будет. CNN, узнающая кошку на фотографии, тоже складывает слои по такому принципу: линии → углы → части → форма целиком.
Нажимайте кнопки, чтобы переключать схемы шести архитектур. Зелёные линии — обучаемые связи, пунктир — фиксированные связи, оранжевые стрелки — память, переходящая через время. Все схемы условные и показывают только принцип.
Серая полоса = все связи, цветная полоса = обучаемые связи. В моделях глубокого обучения учатся все связи, а у мушиной модели большинство связей фиксировано. Тренажёр ниже и код 2 из общего раздела A считают те же самые числа.
Уровень обоснованности в последней строке: реальная цепь·измерения модель воспроизводит реальную нейронную цепь · похожая структура форма связей похожа, но это не доказывает, что вычисления те же · свободная аналогия · чистая аналогия лишь помогает объяснению, биологического основания нет.
Лестница на странице ① (от простейшей к многослойной) рассказывала о линии MLP и CNN. «Мушиный» способ рядом с ней даёт другой ответ: «даже если скрытый слой не обучать, а сделать широким и разреженным, получается неплохо». В машинном обучении на той же идее основаны случайные признаки, машины экстремального обучения (ELM) и резервуарные вычисления. В мозге дрозофилы есть и цепи, работающие со временем, как RNN·LSTM (центральный комплекс), но модели этой страницы принимают решение за один шаг.
Как в Teachable Machine, на примере проходим весь процесс: ① собираем картинки-примеры для каждого класса, ② обучаем, ③ проверяем на незнакомых картинках. На одних и тех же картинках параллельно обучены «мушиный» способ (учится только выходной слой) и MLP глубокого обучения (учатся все слои). Картинки размером 16×16 сделаны с дрожанием, будто нарисованы от руки.
Для каждого класса сделали 30 картинок: 24 пошли на обучение, 6 (всего 18) — на валидацию. Валидационные картинки во время обучения ни разу не показываются.
Зелёный = «мушиный» способ · синий = MLP · пунктир = точность на обучении, сплошная = точность на валидации
| Круг | Крестик | Горизонтальная линия | |
|---|---|---|---|
| Круг | 4 | 2 | 0 |
| Крестик | 0 | 6 | 0 |
| Горизонтальная линия | 0 | 1 | 5 |
| Круг | Крестик | Горизонтальная линия | |
|---|---|---|---|
| Круг | 4 | 2 | 0 |
| Крестик | 0 | 6 | 0 |
| Горизонтальная линия | 0 | 0 | 6 |
Обе модели верно распознали 100% обучающих картинок, но на валидационных у «мушиного» способа 83%, а у MLP — 89%. Этот разрыв (между обучением и валидацией) показывает степень переобучения. У «мушиного» способа обучаемых связей примерно 36% от MLP, но по валидационной точности он отстаёт ненамного. Обе модели приняли 2 из 6 валидационных кругов за крестики (см. матрицу ошибок ниже). Когда на класс приходится всего 24 обучающие картинки, такие ошибки случаются. Чтобы попробовать на собственных рисунках, запустите код 2 из общего раздела A в Colab.
Порядок действий тот же: создать классы → собрать примеры → обучить → распознавать новые входные данные.
Teachable Machine обучает только маленький классификатор поверх признаков, которые уже выучила большая модель для изображений (MobileNet), — это перенос обучения (transfer learning). В нашем примере две модели учатся на рисунках 16×16 с нуля. Поэтому они хорошо подходят для простых фигур, но не для сложных входных данных вроде фотографий.
Чем выше ступень, тем больше у модели связей, тем более сложные границы она проводит и тем более глубокий смысл извлекает. Цепочка дрозофилы «органы чувств → нервы → мозг → поведение» вмещает все эти ступени в одном теле.
| Ступень | Устройство модели | Пример у дрозофилы | Новая способность | Оставшееся ограничение |
|---|---|---|---|---|
| ① Совсем простая | 1 вход → 1 выход y = порог(w·x) | Углекислый газ → избегание | Реагирует на сильный сигнал | Видит только один вход |
| ② Простая | Несколько входов → 1 нейрон Перцептрон | Фруктовый запах + запах уксуса → еда или нет? | Взвешивает несколько сигналов, учится на ошибках | Только одна прямая граница |
| ③ Обычная | Вход → скрытый слой → выход Многослойный перцептрон | Антеннальная доля → грибовидное тело → выходной нейрон | Изогнутые и полосовые границы, распознавание сочетаний | Для больших и сложных входов нужно огромное число скрытых нейронов |
| ④ Много слоёв | Много слоёв друг на друге как в свёрточной нейронной сети | Фасеточный глаз → ламина → медулла → лобула → гигантское волокно | Из простых признаков складывает смысл вроде «приближается» | Чем глубже сеть, тем больше данных и вычислений нужно для обучения |
Значение, которое меняется при обучении. Тормозные синапсы — это отрицательные веса.
Сигнал посылается, только если превышен порог. Именно этот излом придаёт смысл наложению слоёв.
Сообщает, что пошло не так. У дрозофилы он не передаётся назад через слои, а впрыскивается прямо в определённые связи.
Схема соединений всего мозга. Кто с кем связан и насколько сильно — это и есть устройство модели.
Следующая страница: статья, которая показала, где на самом деле встречаются сигналы от грибовидного тела (обучение) и латерального рога (инстинкт), — иллюстрированный разбор статьи Dolan и др. (2018), Neuron.
Третья страница: проект, в котором целиком запущенная настоящая схема соединений мозга дрозофилы управляет мобом в Minecraft, — в сравнении с двумя предыдущими страницами. Мозг дрозофилы в Minecraft — нервная система, которая движется по одной лишь схеме соединений.
Обе программы используют только библиотеки, которые уже установлены в Colab. Нажмите «Скачать блокнот (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в новую ячейку блокнота.
Создаёт фиксированные связи для 1000 клеток Кеньона и поверх разреженного кода, в котором включаются только верхние 8%, обучает по дельта-правилу всего один выходной слой. Чтобы подставить свои данные, замените X (примеры × 256) и Y (номера правильных классов).
Обучает MLP, CNN, RNN, GRU, LSTM и три модели дрозофилы на одних и тех же рисунках с одинаковым разбиением и сравнивает число связей и точность. Это те же вычисления, что в «Примере с тренажёром», только на более крупном наборе данных (4 класса, 160 рисунков), — и вы делаете их сами.
| Параметр | Код 1 («мушиный» способ) | Обычный код глубокого обучения |
|---|---|---|
| Что обучается | Только выходной слой (3000) | Все слои (16 643) |
| Вычисление градиента | Не нужно: ошибка × вход | loss.backward() вычисляет его для каждого слоя по цепному правилу |
| Скрытое представление | Случайно задано при рождении | Обучается под данные |
| Форма скрытого слоя | Широкий и разреженный (включены лишь 8% из 1000) | Узкий и плотный (все 64 имеют значения) |
| Ключевая строка | W_out += lr * np.outer(y − p, k) | opt.step() |
| Нужные инструменты | Только NumPy | PyTorch (автодифференцирование) |
| Название в машинном обучении | Случайные признаки, экстремальная обучающая машина, резервуарные вычисления | Многослойный перцептрон (MLP) |
Промпты, которые можно вставить в ИИ-помощника вроде ChatGPT, Qwen или Claude. При нажатии «Копировать» после промпта добавляется выбранный код. Замените текст в 〔 〕 на описание своей ситуации.
Ответ ИИ — лишь отправная точка. Обязательно проверяйте предложенные статьи, числа и библиотечные функции по первоисточникам и официальной документации. Если вы пользовались помощью ИИ при подготовке конкурсной работы или статьи, укажите это и объём помощи согласно правилам организаторов и журнала.
Это тот же словарь, что и у жёлтых пунктирных подчёркиваний в тексте. Наведите курсор на подчёркнутое слово или нажмите на него — появится то же объяснение.
Аналогия — первый шаг к пониманию, но и семя заблуждений. Для аналогий с дрозофилой и мозгом указана их сила: Прямая есть данные, что там действительно происходит то же самое · Частичная похожи лишь некоторые свойства · Нет соответствие неизвестно
| Понятие | Бытовая аналогия | Аналогия с дрозофилой и мозгом | Где аналогия не работает |
|---|---|---|---|
| Перцептрон | Оценить мнения нескольких людей баллами, сложить их и принять решение, если сумма превысила планку | Частичная Нейрон собирает входные сигналы и срабатывает, когда они превышают порог | В настоящем нейроне входные сигналы со временем накапливаются и утекают. У перцептрона времени нет (см. модель «интегрировать-и-сработать с утечкой» в Выпуске 3) |
| Скрытый слой | Менеджеры среднего звена в компании: собирают отчёты с мест и передают руководителю краткую сводку | Частичная Клетки Кеньона в грибовидном теле заново и широко представляют сигналы запаха | Входные связи клеток Кеньона задаются случайно и не обучаются. Скрытые слои в глубоком обучении обучаются |
| Обучение весов | Записывать решённые неверно задачи в тетрадь ошибок и исправлять их в следующий раз | Прямая Дофамин меняет силу выходных связей грибовидного тела и связывает запахи с последствиями | Вычисляет ли дофаминовый сигнал дрозофилы «ошибку предсказания», ещё изучается. Правило обучения в этом выпуске упрощено для наглядности |
| Обратное распространение | Когда результат плохой, распределять ответственность в обратном порядке — от конца производственной линии | Нет | Нет известных данных о том, что мозг передаёт точные градиенты назад слой за слоем |
| Многослойный зрительный путь | Сборочный конвейер на заводе: на каждом этапе делают детали чуть сложнее | Частичная По пути фасеточный глаз → ламина → медулла → лобула выделяется всё более сложное движение | Фильтры в ④ заданы вручную для наглядности. CNN обучает свои фильтры |
| Перевод входа в числа | Обменять деньги всех стран на одну валюту | Прямая Сенсорные нейроны превращают свет, запах и вкус в электрические сигналы | Настоящие сигналы — это частота и время спайков. Числа частоты разрядов в этом выпуске — условные примеры |
E-1 Об авторе · E-2 Научные источники · E-3 Источники иллюстраций
| № | Что | Значение | Источник |
|---|---|---|---|
| [1] | Общее число нейронов и синапсов в мозге дрозофилы | Около 140 тыс.; около 50 млн | Консорциум FlyWire (2024) Nature — коннектом всего мозга взрослой мухи |
| [2] | Число омматидиев в одном фасеточном глазу | Около 750–800 | Хрестоматийное значение для зрительной системы дрозофилы (различается у разных особей и линий) |
| [3] | Типы обонятельных рецепторных нейронов / число гломерул в антеннальной доле | Около 50 типов / около 50 | Типичные значения из исследований обоняния дрозофилы (напр., Couto и др. 2005, Curr Biol) |
| [4] | Число клеток Кеньона в одном грибовидном теле; типы выходных нейронов | Около 2000 / 21 тип | Aso и др. (2014) eLife — анатомия цепи грибовидного тела |
| [5] | Число нейронов в мозге человека | Около 86 млрд | Azevedo и др. (2009) J Comp Neurol |
| [6] | Избегание углекислого газа; притяжение или избегание в зависимости от концентрации уксуса | — | Suh и др. (2004) Nature · Semmelhack & Wang (2009) Nature |
| [7] | Определение направления движения нейронами T4·T5; обнаружение приближения нейронами LPLC2 | — | Maisak и др. (2013) Nature · Klapoetke и др. (2017) Nature |
Методическое руководство для преподавателей, наставников по обучению на рабочем месте (OJT) и тьюторов. Время указано примерно — подстраивайте его под реальное занятие.
| Аудитория | Студенты и работающие взрослые, которые только начинают изучать глубокое обучение. Знания биологии не нужны |
|---|---|
| Что нужно знать заранее | Сложение, умножение, чтение графиков. Python нужен только для практики в Colab |
| Цели обучения | ① Сопоставить цепочку «органы чувств → нервы → мозг → поведение» с цепочкой «вход → скрытый слой → выход» ② Объяснить, почему перцептрон не решает задачу с полосой, а скрытый слой решает ③ Распознать переобучение, сравнив точность на обучающих и валидационных данных |
| Примерное время | Чтение 50–60 мин · демонстрация анимаций 25 мин · практика в Colab 30 мин (Код 1 — 10 мин; Код 2 — 2 мин на запуск + 15 мин на разбор) |
Вступление 5 мин (почему дрозофила) → таблица соответствия «органы чувств → нервы → мозг» 10 мин → правила против обучения 10 мин → лестница ①②③ 20 мин → контрольные вопросы 5 мин.
Полигон «правила против обучения» 20 мин (сравнение с системами правил на производстве) → переобучение в ②③ 20 мин → чтение матрицы ошибок на примере с тренажёром 20 мин → запуск и разбор Кода 2 30 мин.
Новичкам — только «Правила против обучения» и ①②. Слушатели среднего уровня меняют число скрытых нейронов в ③, сами вызывают переобучение и сравнивают число обучаемых связей (3003) в Коде 1 и в примере с тренажёром.
| Раздел | Вопрос, чтобы остановиться и спросить | Что сделать руками |
|---|---|---|
| Почему дрозофила | «140 тысяч нейронов — это много или мало?» | Сравнить с 86 млрд нейронов в мозге человека |
| Электрические сигналы | «Зачем переводить запах и свет в одни и те же единицы?» | Меняйте силу стимула и смотрите, меняется ли вслед за ней частота разрядов |
| Правила против обучения | «Кто первым приспособится, если среда изменится?» | Нажмите «Изменить среду» и сравните успешность двух мух |
| ② Перцептрон | «Можно ли отделить полосу одной прямой?» | Запустите обучение на задаче с полосой и посмотрите, где застревает точность |
| ③ Скрытый слой | «Всегда ли лучше добавлять скрытые нейроны?» | При малом объёме данных и 40 скрытых нейронах посмотрите на разрыв между точностью на обучающих и валидационных данных |
| ④ Много слоёв | «Почему муха не взлетает от объектов, пролетающих мимо?» | Нажмите по очереди «приближается», «пролетает мимо» и «удаляется» |
| Практикум: пример с тренажёром | «Почему обе модели запутались на одних и тех же рисунках?» | Нажимайте по очереди кнопки тестовых рисунков и сравнивайте с матрицей ошибок |
| Заблуждение | Как на самом деле | Что показать |
|---|---|---|
| Мозг дрозофилы работает точно так же, как глубокое обучение | Похожи лишь слоистое устройство и обучение силы связей; обратное распространение и вычисления без времени отличаются от мозга | Строка «Обратное распространение» в сборнике аналогий D |
| Чем больше скрытых нейронов, тем лучше | При малом объёме данных модель заучивает обучающие данные, и точность на валидации падает (переобучение) | Настройка «мало данных» в ③ |
| Если хорошо прописать правила, обучение не нужно | Когда среда меняется, правила раз за разом ошибаются. Обучение подстраивается заново | «Изменить среду» в «Правилах против обучения» |
| Высокая точность — значит, модель хорошая | Точности, измеренной на обучающих данных, доверять трудно. Её измеряют на отдельно отложенных валидационных данных | Кривые обучения и валидации в примере с тренажёром (обучение 100%, валидация 83–89%) |
| «Мушиный» способ хуже глубокого обучения | Имея вчетверо меньше обучаемых связей, он показал похожую точность на той же задаче с рисунками (Код 2) | Таблица результатов Кода 2 |
Сумма = 1×0.8 + 0×(−0.5) = 0.8. Так как 0.8 ≥ 0.5, выход равен 1.
Перцептрон делит пространство только одной прямой (плоскостью). Полосе нужны две границы, по одной с каждой стороны, поэтому одной прямой её не отделить. Скрытый слой строит несколько границ и объединяет их.
Переобучение: модель заучила обучающие данные. Способы исправить — любые два из трёх: собрать больше данных, уменьшить число скрытых нейронов, раньше остановить обучение.
Зафиксированы: проекционные нейроны → клетки Кеньона (случайные разреженные связи). Обучаются: клетки Кеньона → выходные нейроны (их меняет дофамин).
Даже с одним лишь широким, разреженным и фиксированным представлением простые задачи с рисунками вполне решаются обучением только выходного слоя. Однако само представление улучшаться не может, поэтому на сложных задачах у подхода есть пределы.
В Коде 1 измените TOP (доля включённых клеток) с 0.08 на 0.5, опишите, как изменились точность на обучающих данных и число включённых клеток Кеньона, и в двух предложениях объясните, чем полезна разреженность.
В Коде 2 задайте размер скрытого слоя MLP 8, 64 и 512 и сравните точность на валидации для двух seed. Вместе с кривыми обучения (ячейка 7) разберите, видно ли переобучение.
| Новичкам | Раздел ④ и части про GRU/LSTM в «Сравнении архитектур» можно пропустить — логика не нарушится. Главное — хорошо разобрать «Правила против обучения» и ②③ |
|---|---|
| Углублённо | Предложите слушателям подготовить доклад, сравнив «мушиный» способ со случайными признаками и экстремальными обучающими машинами (ELM) в машинном обучении. Найденные статьи проверяйте по первоисточникам |
| Что изучить дальше | Sangsun Ahn, «Наука о данных для бизнеса», конспект лекций (обзор науки о данных, на корейском языке) · STEP [K-Digital] Искусственный интеллект: обработка естественного языка · STEP [K-Digital] Основы анализа данных в финтехе |
| Материалы для преподавателя | Критерии оценки контрольных вопросов и примеры ответов к заданиям — на странице «Ответы для преподавателя» (Выпуск 1) |
Вы дочитали до конца «Выпуск 1: Путешествие по мозгу дрозофилы». Обитатели лаборатории подведут итоги — каждый по-своему.