Глубокое обучение от A до Z в Лаборатории дрозофилы

Обитатели лаборатории

В конце каждой части все трое подводят её итог — каждый по одной фразе.

Профессор

Отвечает за объяснения. Даже сложную формулу разберёт с помощью одной картинки. Когда увлекается, из его рук сыплются фиолетовые искры.

Ассистентка

Отвечает за эксперименты. Всю ночь гоняет код, а если результат проигрывает базовой линии, плачет вместе с вами.

Муха-исследователь

Единственный обитатель лаборатории с настоящим мозгом. Всякий раз, когда говорят, что люди и ИИ подражают его мозгу, не упускает случая вставить словечко.

Карта исследований — восемь частей по порядку

Если читать сверху вниз, история складывается в одно целое. Можно начать и с той части, которая интересна вам больше всего. В начале каждой части указано, что «Рекомендуется прочитать сначала».

Принципы и детали ИИДанные — в числаПорядок и внимание

1. 3-1

   Как работает ИИ

   Если правила задаёт человек — это машинное обучение, если сеть сама находит их в данных — глубокое обучение. Сравниваем бок о бок с мозгом человека и мозгом дрозофилы.

   Приглушаем освещение и смотрим, какой подход выдержит.

   
2. 3-2

   Детали нейросети

   Нейрон, вес, функция активации, обратное распространение ошибки. Детали, из которых нейросеть собирается шаг за шагом, как конструктор LEGO.

   Спускаемся с горы по градиенту и уменьшаем ошибку.

   
3. 3-3

   Изображения и CNN

   Фотография — это сетка чисел. Если искать узоры, проходя по ней маленькой лупой (фильтром), рисунок узнаётся, даже когда его немного сдвинули.

   Сдвигаем и перемешиваем цифру 7 и устраиваем состязание MLP и CNN.

   
4. 3-4

   Речь

   Звук — это колебания воздуха. Если измерить колебания, нарезать их и разложить по высоте, получится картинка из чисел.

   Слушаем синтезированный звук и сравниваем 3 бита и 16 бит.

   
5. 3-5

   Текст

   Буквы превращаются в номера, номера — в фрагменты (токены), а фрагменты — в координаты со смыслом (эмбеддинги).

   Смотрим, как «дрозофила» и «комар» оказываются рядом, хотя этому никто не учил.

   
6. 3-6

   Временные ряды и цены акций

   Сначала нужно победить самый простой ответ: «завтра будет как сегодня». На реальных ценах акций это сложнее, чем кажется.

   Проверяем четыре ловушки на числах. Это учебный пример, а не инвестиционный совет.

   
7. 3-7

   Последовательные модели

   Нейросеть, которая идёт шаг за шагом, неся с собой память. Смотрим, что и как долго помнят RNN, LSTM и GRU.

   Переворачиваем первый сигнал и смотрим, изменится ли вслед за ним память через 20 шагов.

   
8. 3-8

   Внимание и трансформеры

   Вместо того чтобы полагаться на память, модель всякий раз заново заглядывает в предыдущее, когда это нужно. Это основа современных языковых моделей.

   На примере библиотеки вручную вычисляем Q·K·V.

   

Один день в лаборатории

Эти сцены снова встретятся вам в конце каждой части.

Как лучше смотреть