Детали нейросети — от перцептрона до обратного распространения ошибки

Пояснение для начинающих

Правило обучения перцептрона умещается в одну строку. Выбираем одну ошибочную точку: w ← w + η·(ответ − прогноз)·x. Если правильный ответ 1, а сеть сказала 0, прямая подтягивается к этой точке, в обратном случае — отталкивается. Если задача делится прямой, одно это правило рано или поздно правильно классифицирует все точки.

Задачу вроде XOR — «еда, только когда есть ровно один из двух запахов» — нельзя разделить никакой прямой. После того как в 1969 году Минский и Пейперт математически показали это ограничение, исследования нейросетей на время затихли. Решение — добавить ещё один слой, то есть скрытый слой. Но сначала посмотрим на функции, которые изгибаются плавно, а не ступенькой.

Затухание градиента — почему ReLU стала стандартом

При обратном распространении ошибки на каждом слое, через который мы проходим назад, градиент умножается на производную функции активации. Производная сигмоиды не превышает 0,25. Пройдя назад 10 слоёв, сигнал уменьшится как минимум в 0,25¹⁰ ≈ 0,00000095 раза. До первых слоёв сигнал «исправься» почти не доходит. Это и есть затухание градиента.

У ReLU производная на положительном участке ровно 1, поэтому сигнал не ослабевает, сколько бы слоёв мы ни прошли назад, а вычисление сводится к «сравнению с 0» и потому быстрое. Зато на отрицательном участке производная равна 0, и однажды выключившийся нейрон может уже не ожить. Варианты вроде Leaky ReLU, ELU и Swish — попытки закрыть эту брешь. Ни одна функция не лучшая всегда: выбор зависит от задачи и модели.

линейное ∘ линейное = линейное

Если складывать слои без функции активации, W₂(W₁x) = (W₂W₁)x, то есть это то же самое, что одна матрица весов. Например, если W₁ = [[1, 2], [0, 1]], W₂ = [[2, 0], [1, 1]], то W₂W₁ = [[2, 4], [1, 3]]. Пройти два слоя или одну эту матрицу — результат одинаков. Даже сложив 100 слоёв, можно провести лишь одну прямую.

Когда функция активации изгибает сигнал на каждом слое, прямые отрезки накладываются и изгибаются, образуя сложную границу вроде спирали. Если уменьшить число скрытых нейронов до 4, видно, что изгибаемых отрезков не хватает и спираль целиком не охватывается.

Почему для классификации — перекрёстная энтропия

Если на выходе сигмоида, градиент MSE равен 2(p − t)·p(1 − p). Если правильный ответ 1, а модель уверенно ошибается с p = 0.01, то p(1 − p) близко к 0, и градиент тоже почти 0. Ошибка большая, а сигнал «исправься» слабый. С перекрёстной энтропией производная сигмоиды аккуратно сокращается, и градиент равен просто p − t, то есть −0.99. Чем сильнее ошибка, тем сильнее исправление.

Обратное распространение ошибки — это «передача ответственности через умножение»

Сначала на выходе определяется величина ошибки −2 × (цель − выход). Ответственность веса «скрытый→выход» — это она, умноженная на сигнал, пришедший по этому весу (значение скрытого нейрона). Для веса «вход→скрытый» нужно пройти назад ещё на шаг: умножаем на выходной вес v, чтобы передать ответственность скрытому нейрону, умножаем на h(1 − h) — насколько чувствителен был скрытый нейрон, — и умножаем на пришедший вход x. Это «умножить и передать назад» и есть цепное правило. Затухание градиента из раздела 2 возникает именно из-за этого умножения.

Если нажать «Только выходные (способ дрозофилы)», веса «вход→скрытый» фиксируются, и обучающий сигнал, приходящий сверху (аналогия с дофамином у дрозофилы), исправляет только выходные связи. Это сильно упрощённая аналогия со структурой обучения в грибовидном теле дрозофилы; вычисляется ли дофаминовый сигнал подобно градиенту, пока исследуется.

Пояснение для начинающих

Эта долина длинная по горизонтали и крутая по вертикали. SGD движется ровно на величину градиента, поэтому в крутом вертикальном направлении скачет вверх-вниз большими шагами (зигзаг), а при малой скорости обучения в пологом горизонтальном направлении ползёт черепашьим шагом (проверьте на «0.1 малая»). Моментум запоминает накопленную скорость, ускоряется в устойчивом направлении (по горизонтали), а зигзаги взаимно гасятся. Adam отдельно измеряет величину градиента по каждому направлению и подбирает длину шага, поэтому спускается по горизонтали и вертикали примерно с одинаковой скоростью.

«Шум мини-батча» — это колебания, возникающие, когда градиент считается лишь по части данных, как при реальном обучении. Если выбрать скорость обучения «большая», SGD перелетает через стенку долины и вылетает наружу. Ни один оптимизатор не побеждает всегда. Adam широко используют как надёжный вариант по умолчанию для большинства задач, но есть исследования, где в ряде задач глубокого обучения хорошо настроенный SGD лучше работал на новых данных [R12].

Три средства

1. Ранняя остановка: берём модель в точке, где проверочные потери были минимальны. Самое простое средство, используется почти всегда.
2. Дропаут: на каждом шаге обучения случайно отключаем часть скрытых нейронов. Это не даёт сети заучивать точки, опираясь на несколько определённых нейронов. При тестировании все нейроны включены.
3. Затухание весов (L2): чем больше веса, тем больший штраф добавляется к потерям. Это не даёт кривой стать чрезмерно извилистой.

Самое надёжное средство — собрать больше данных. Когда данных мало, а модель большая, заучивать легко. Числа на этом рисунке — учебный эксперимент, вычисленный прямо на этой странице; генератор случайных чисел зафиксирован, чтобы при каждом запуске получался одинаковый результат.

Частые ошибки на каждом этапе

1. Разделение: тестовые данные используются только один раз, в самом конце. По проверочным данным выбирают настройки, а по тестовым измеряют итоговое качество. Данные с временным порядком не перемешивают случайно: обучают на прошлом, оценивают на будущем (подробнее в 3-6).
2. Предобработка: параметры масштабирования (стандартизации), такие как среднее и стандартное отклонение, вычисляются только по обучающим данным. Если считать их по всем данным, в обучение просочится информация из теста (утечка данных).
3. Оценка: если брака всего 10%, то даже ответ «всё годное» даёт долю верных ответов (accuracy) 90%. Смотрите одновременно на то, что нельзя пропустить (полнота, recall), и на цену ложных тревог (точность, precision).
4. Развёртывание и мониторинг: если на заводе сменилось освещение или поступили новые детали, данные меняются и качество падает. После развёртывания продолжайте измерять качество и при необходимости переобучайте модель заново.