Ответы для преподавателей

3-1Как работает ИИ

Вернуться к советам преподавателю на странице 3-1

Ответы на проверочные вопросы и критерии оценки

Q1. Разграничьте машинное и глубокое обучение, используя слово «признак», — по одному предложению на каждое.

• Образцовый ответ: в машинном обучении (традиционный подход) признаки задаёт человек, а машина учит веса, на которые умножается каждый признак. В глубоком обучении машина учится всему — от исходных данных до самих признаков.
• Оценка (3 балла)
  • 2 балла: два подхода разграничены по тому, «кто задаёт признаки».
  • 1 балл: упомянуто, что глубокое обучение — одна из ветвей машинного обучения, или приведён пример (3 веса против 1 741).
• Снижение: если написано «в глубоком обучении человек ничего не делает», снимается 1 балл. Человек выбирает данные и структуру модели.

Q2. Почему признак A ошибается на сценах «потемнение освещения», хотя такие сцены есть в обучающих данных?

• Образцовый ответ: при переводе в признак A (изменение площади, смещение центра) сцена с освещением становится точкой, у которой «площадь сильно растёт, а центр остаётся на месте». Эта точка лежит на той же стороне, что и приближение, только дальше. Одной прямой её не отделить от приближения. Информация, нужная для различения, пропала при сжатии до двух чисел, поэтому добавление данных проблему не решает.
• Оценка (3 балла)
  • 1 балл: на плоскости признаков сцены с освещением лежат на стороне приближения.
  • 1 балл: одной прямой (линейным классификатором) их не отделить.
  • 1 балл: информация пропала уже на этапе построения признаков. Нужно не добавлять данные, а менять признаки.

Q3. Какое из чувств человека идёт прямо в кору больших полушарий, минуя таламус?

• Ответ: обоняние (обонятельный эпителий → обонятельная луковица → грушевидная кора). 1 балл.
• Хорошо бы добавить: на пути от грушевидной коры к орбитофронтальной коре есть и путь через таламус (Sela и др., 2009).

Q4. Чем похожи LPLC2 дрозофилы и признак B из раздела 3?

• Образцовый ответ: оба отличают «объект, разрастающийся во все стороны» от «простого потемнения». LPLC2 не реагирует на потемнение без движения (Klapoetke и др., 2017). Различаются они способом создания: признак B спроектировал человек, а LPLC2 — это цепь, сформировавшаяся в ходе развития.
• Оценка (2 балла): сходство — 1 балл, различие — 1 балл.

Q5. В чём ошибка суждения «на обучающих данных точность 100%, значит, и на практике всё будет хорошо»?

• Образцовый ответ: столкнувшись с ситуацией, которой не было в обучающих данных, модель может ошибиться. Пример — «без изменения освещения» из раздела 4. Потери на обучении снизились до 0,011, но из 20 сцен с освещением верно определено 0. И на этих сценах модель с вероятностью 0,99 уверенно говорила «уклоняйся». Качество нужно измерять на незнакомых тестовых данных и проверять, есть ли в обучающих данных ситуации, которые возникнут на практике.
• Оценка (3 балла)
  • 1 балл: разграничены результат на обучении и реальное качество.
  • 1 балл: указана причина — ситуация, которой не было в данных.
  • 1 балл: предложена хотя бы одна мера (тестовые данные, сбор данных с места применения, мониторинг).

Примеры решений заданий Colab

Базовое задание: добавить «приближение наискосок»

• Добавьте новый тип в make_episode из кода 1. Например: тень растёт, а центр смещается на 3–5 клеток. Правильный ответ — 1 (нужно уклониться).
• Ожидаемый результат
  • Признак A: при большом смещении центра сцена классифицируется как «пролёт мимо». Точность, скорее всего, упадёт.
  • Признак B: длина контура растёт, поэтому в основном угадывает верно.
  • Нейросеть: если такие сцены есть в обучающих данных, угадывает; если нет — часть определяет неверно.
• На что смотреть при оценке
  • Есть таблица результатов.
  • Причины объяснены через «информацию, которую несут признаки» и «ситуации, которые есть в данных».
  • Конкретные числа зависят от сида, поэтому оценивается не само число, а интерпретация.

Задание повышенной сложности: данные из моей работы

• В хорошем решении есть следующее.
  • Три признака и их обоснование (знание предметной области).
  • График сравнения по числу обучающих примеров.
  • Вывод в зависимости от объёма данных, например: «когда примеров мало — подход с признаками, когда достаточно — нейросеть».
  • Тестовые данные использованы только один раз, в самом конце.
• Частые ошибки
  • При вычислении признаков примешивается информация из тестовых данных (утечка данных).
  • Смотрят только на точность, не глядя на точность (precision) и полноту (для несбалансированных данных, 3-2, раздел 9).

Вопросы, которые часто звучат на занятиях

• «Значит, глубокое обучение хуже машинного обучения?»
  • Нет. Это зависит от задачи и объёма данных.
  • На данных, признаки которых трудно описать словами, — фото, звук, текст — глубокое обучение намного сильнее.
  • Сцены на этой странице намеренно сделаны простыми, поэтому человеку было легко придумать хорошие признаки.
• «А мозг человека тоже использует обратное распространение ошибки?»
  • Это не подтверждено. Изучается гипотеза, что мозг может делать нечто похожее другими способами (Lillicrap и др., 2020).
• «Почему числа в браузере и в Colab немного различаются?»
  • В двух средах разные генераторы случайных чисел, поэтому сцены немного отличаются.
  • Точность признака A: в браузере 86,9% (пропущено и одно приближение), в Colab 87,5%.
  • Вывод тот же: сцены с освещением в обеих средах определены неверно все до одной.

3-2Детали нейросети

Вернуться к советам преподавателю на странице 3-2

Ответы на проверочные вопросы и критерии оценки

Q1. Какую границу может провести нейросеть без функции активации, если сложить 10 скрытых слоёв? (2 балла)

• Ответ: только одну прямую (в многомерном случае — плоскость).
• Оценка: вывод — 1 балл. Причина — композиция нескольких линейных преобразований остаётся одним линейным преобразованием (W₂W₁x = Wx) — 1 балл.

Q2. Почему при замене сигмоиды на ReLU затухание градиента уменьшается? (2 балла)

• Ответ: градиент сигмоиды не больше 0,25, поэтому, перемножаясь от слоя к слою, он быстро уменьшается. У ReLU градиент на положительном участке равен 1, поэтому при обратном проходе он не убывает.
• Оценка: сравнение 0,25 и 1 — 1 балл, объяснение «уменьшается, потому что перемножается» — 1 балл. Хорошо, если добавлено, что на отрицательном участке градиент равен 0 (отключённый нейрон).

Q3. Правильный ответ 1, предсказание 0,41. Чему равны потери MSE и ∂L/∂y? (2 балла)

• Ответ: L = (1 − 0,41)² = 0,3481 ≈ 0,35, ∂L/∂y = −2 × (1 − 0,41) = −1,18.
• Оценка: по 1 баллу за каждое. В ∂L/∂y должен быть верным и знак.

Q4. Потери на обучении продолжают снижаться, а потери на валидации с какого-то момента растут. Что это за состояние и что делать? (3 балла)

• Ответ: это переобучение.
• Оценка: диагноз «переобучение» — 1 балл, ранняя остановка с использованием модели из момента наименьших потерь на валидации — 1 балл, хотя бы одно из: дропаут, затухание весов (weight decay), увеличение данных — 1 балл.

Q5. В контроле с долей брака 10% модель на всё отвечает «норма». Какова её точность (accuracy) и полнота? (2 балла)

• Ответ: точность 90%, полнота 0%.
• Оценка: по 1 баллу за каждое. Хорошо, если добавлено: «на несбалансированных данных нельзя смотреть только на точность».

Примеры решений заданий Colab

Базовое задание: tanh → ReLU, скрытых нейронов 4·16·64

• Менять нужно две строки: функцию активации — на max(0, z), её производную — на «1, если z > 0, иначе 0».
• Результаты получите запуском и сведите в таблицу. С ростом числа нейронов точность на обучении обычно растёт, но точность на валидации с какого-то момента может перестать расти или даже упасть.
• На что смотреть при оценке: выбрана ли настройка по точности на валидации (выбор по точности на обучении — снижение балла) и объяснена ли причина через переобучение.

Задание повышенной сложности: оценка 6:2:2 на данных из моей работы

• Обучаем только на обучающих данных, настройки и порог подбираем на валидационных, тестовые данные используем только один раз в конце.
• Подходит ли порог 0,5, решают исходя из цены ошибок в работе. Например, если пропуск брака обходится дорого, порог снижают, чтобы повысить полноту, и вместе с этим сообщают, насколько выросло число ложных тревог (падение точности (precision)).
• На что смотреть при оценке: указаны ли все три метрики и соответствует ли обоснование порога рабочей ситуации. Проверьте, что данные с персональной информацией не использовались или были обезличены.

3-3Изображения и CNN

Вернуться к советам преподавателю на странице 3-3

Ответы на проверочные вопросы и критерии оценки

Q1. Сколько весов в первом слое, если подать цветное фото 224×224 на MLP с 1 000 скрытых нейронов? (без смещений)

• Ответ: 224 × 224 × 3 = 150 528, × 1 000 = 150 528 000 (около 150 миллионов).
• Хорошо бы добавить: в свёрточном слое из 64 цветных фильтров 3×3 весов 3 × 3 × 3 × 64 = 1 728 (1 792 вместе со смещениями).
• Оценка (2 балла): формула — 1 балл, ответ — 1 балл. Если пропущены 3 канала, снимается 1 балл.

Q2. Каков размер выхода, если к входу 6×6 применить фильтр 3×3 без паддинга с шагом 1?

• Ответ: (6 − 3 + 1) × (6 − 3 + 1) = 4×4. 1 балл.

Q3. Покажите вычислением, почему фильтр вертикальных краёв из раздела 5, наложенный в левый верхний угол, даёт −3.

• Образцовый ответ: вторая строка накрытого фрагмента — [0, 3, 3], каждая строка фильтра — [1, 0, −1]. 0×1 + 3×0 + 3×(−1) = −3. Первая и третья строки целиком нулевые.
• Оценка (2 балла): верно выбран накрытый фрагмент — 1 балл, верно выполнено поэлементное умножение и сложение — 1 балл.

Q4. Каковы значения max-пулинга и усредняющего пулинга для окна 2×2 [6, 3, 0, 3]?

• Ответ: максимум 6, среднее (6 + 3 + 0 + 3) / 4 = 3. По 1 баллу за каждое.

Q5. Если перемешать пиксели по одному и тому же правилу и обучить с нуля, у кого точность упадёт сильнее — у MLP или у CNN, и почему?

• Образцовый ответ: сильнее упадёт у CNN.
  • CNN заложила в свою структуру (фильтры 3×3, пулинг) допущение «соседние пиксели связаны». Перемешивание это допущение разрушает.
  • MLP изначально не использует взаимное расположение пикселей, поэтому результат почти не меняется.
  • Фактические результаты: в браузере MLP 92,7% → 91,3%, CNN 78,7% → 67,3%. Среднее по 3 сидам в Colab: MLP 88,4% → 90,0%, CNN 80,2% → 65,8%.
• Оценка (3 балла)
  • 1 балл: результат (CNN падает сильнее).
  • 1 балл: объяснено допущение CNN (соседство).
  • 1 балл: точно названо условие (перемешивание по одному правилу и обучение с нуля). Если написано «подаём перемешанные картинки в обученную модель», этот балл не ставится.

Примеры решений заданий Colab

Базовое задание: добавить диагональный фильтр

• Пример фильтра: [[0,1,1],[-1,0,1],[-1,-1,0]] (диагональная граница: справа сверху светло, слева снизу темно).

• Выход 4×4, вычисленный кодом 1: 3 0 0 -6 6 6 6 0 0 0 0 0 3 0 -3 0

• Максимум равен 6 и получается во 2-й строке, в клетках 1·2·3. Это не наклонный штрих, а граница сразу под верхней перекладиной семёрки. Фильтр реагирует на места, где «вверху и справа светло, внизу и слева темно», поэтому сильно откликается и на горизонтальные границы.

• Хорошее решение, как здесь, объясняет причину с опорой на числа, когда ожидание (диагональный штрих) расходится с фактическим результатом. Урок задания: если угадывать место отклика только по названию фильтра, можно ошибиться.
• На что смотреть при оценке
  • Расположение чисел в фильтре связано с местом отклика.
  • Приведены числа, вычисленные кодом.

Задание повышенной сложности: аугментация данных

• Ожидаемая тенденция
  • Если добавить к обучающим картинкам сдвинутые на 1–2 клетки, у обеих моделей вырастет точность при сдвиге на 1–2 клетки.
  • У MLP она тоже заметно растёт, потому что сдвинутые положения запоминаются из данных.
  • При сдвиге на 3 клетки, которого не было в обучении, ожидается, что CNN по-прежнему будет падать меньше. Конкретные числа оцениваются по результатам, полученным учащимся.
• Пример хорошего вывода: «Структура (общие веса, пулинг) делает модель менее чувствительной к небольшим сдвигам даже без данных, а аугментация даёт устойчивость только к сдвигам в показанном диапазоне. На практике используют и то, и другое».

Вопросы, которые часто звучат на занятиях

• «А на картинках по центру CNN ведь хуже MLP?»
  • Верно. Когда, как на этой странице, положения на обучении и тесте совпадают, а данных мало, MLP может выиграть. У CNN параметров в 4,5 раза меньше.
  • Сильные стороны CNN — малое число параметров и устойчивость к сдвигам. Особенно это заметно на данных, где положение объектов разное, как на реальных фото.
• «Разве CNN не узнаёт объект одинаково при любом положении?»
  • Нет. При сдвиге на 2 клетки и у CNN точность падает: 78,7% → 69,3% (в браузере).
  • Даже у больших CNN ответ может измениться от сдвига на несколько пикселей (Azulay & Weiss, 2019). Точнее сказать: «сравнительно менее чувствительна».
• «Почему при сдвиге на 1 клетку у MLP точность выше?»
  • Это разброс, который возникает в маленьком эксперименте: один сид и 150 тестовых картинок.
  • В среднем по 3 сидам в Colab и при сдвиге на 1 клетку CNN (64,2%) была выше MLP (54,7%). Заодно объясните, что выводы делают по результатам многократных повторов.

3-4Речь

Вернуться к советам преподавателю на странице 3-4

Проверочные вопросы

• Q1 (1 балл): 4 000 Hz.
• Q2 (1 балл): 3 Hz.
• Q3 (2 балла): около 48 dB (теоретически 49,92 → 98,08 dB). Формула — 1 балл, значение — 1 балл.
• Q4 (2 балла): 98 кадров. (8 000 − 200) ÷ 80 = 97,5 → отбрасываем дробную часть: 97 + 1 = 98. За ответ «97» — 1 балл.
• Q5 (2 балла): 1 960, примерно четверть.

Примеры решений заданий

• Базовое (NMEL 40, FRAME 400): матрица становится (меньшее число кадров) × 40. При длинном окне частоты различаются тоньше, но кадров становится меньше и изменения во времени размываются.
  • Оценка: проверено ли изменение числа кадров вычислением.
• Повышенной сложности (собственная запись): даже если записать один и тот же звук дважды, корреляция не равна 1. Разницу создают расстояние, шум, громкость и темп речи.
  • Проверьте, получено ли согласие на обработку персональных данных.

3-5Текст

Вернуться к советам преподавателю на странице 3-5

Проверочные вопросы

• Q1 (1 балл): 0xAC01 («각»).
• Q2 (2 балла): 14 байт = 9 + 1 + 4.
• Q3 (2 балла): с частотой слов в качестве весов подсчитывают появления пар соседних фрагментов и объединяют самую частую пару.
• Q4 (2 балла): при разбиении по словам — «모름» (неизвестно), в BPE — ["초파리", "들", "이"].
• Q5 (2 балла): в обоих случаях {dog:1, bites:1, man:1}. Нужна информация о позиции.

Примеры решений заданий

• Базовое (добавить предложения о бабочке): ожидается, что «나비는» (бабочка) сблизится с «꿀벌은» (пчела), «초파리는» (дрозофила) и другими словами, которые стоят на том же месте и встречаются с теми же словами (꽃을, 날개가).
  • Значения проверяются запуском. Преподаватель заранее один раз запускает код перед занятием.
• Повышенной сложности (число слияний): с ростом числа слияний словарь растёт, а число токенов на предложение уменьшается.
  • Если словарь слишком велик, растёт число редких токенов и для обучения не хватает примеров.
  • Если слишком мал, предложения становятся длиннее и вычислений больше.
  • Смотрите, приведено ли обоснование в виде таблицы.

3-6Временные ряды и цены акций

Вернуться к советам преподавателю на странице 3-6

Проверочные вопросы

• Q1 (1 балл): 500 пар.
• Q2 (2 балла): 10 раз. Первое обучение — 300 пар, последнее — 480 пар.
• Q3 (1 балл): около 4 п.п.
• Q4 (2 балла): смещение отбора и переобучение. Тестовый отрезок используют только один раз в конце.
• Q5 (3 балла): результат сообщён как есть, в числах (1 балл); указаны условия по данным и настройкам (1 балл); названы пределы обобщения и следующий эксперимент (1 балл).

Примеры решений заданий

• Базовое (нормализация по всему периоду): числа немного меняются. Направление изменения зависит от данных.
  • Главное — объяснить, что улучшился результат или ухудшился, ему «нельзя доверять, потому что в оценке использована информация из будущего».
• Повышенной сложности (прогноз величины колебаний): в разделе 2 автокорреляция абсолютной доходности была больше, чем у самой доходности (4/10 против 0/10). Поэтому можно ожидать, что запас для улучшения относительно базовой линии здесь сравнительно больше.
  • Фактические результаты пусть получат запуском и сообщат как минимум по 3 сидам.

Важно при проведении занятия. В начале и в конце занятия чётко скажите: «Это учебный пример, а не инвестиционная рекомендация». Если учащийся спрашивает, покупать или продавать конкретные акции, объясните, что это выходит за рамки этой страницы.

3-7Последовательные модели

Вернуться к советам преподавателю на странице 3-7

Ответы на проверочные вопросы и критерии оценки

Q1. Какая информация теряется, если усреднить последовательность и подать её на нейросеть прямого распространения?

• Образцовый ответ: теряется порядок. У 100 → 110 → 120 и 120 → 110 → 100 среднее одинаковое — 110.
• Оценка (2 балла): назван «порядок» — 1 балл, приведён пример — 1 балл.

Q2. Чему равны h_1 и h_2, если в h_t = tanh(x_t + 0.9·h_(t−1)) подать 1, 0, 0?

• Ответ: h_1 = tanh(1) ≈ 0,762, h_2 = tanh(0,686) ≈ 0,595.
• Оценка (2 балла): по 1 баллу за каждое. Погрешность округления ±0,002 считается верным ответом.

Q3. f = σ(5) ≈ 0,9933, входной вентиль полностью закрыт. Во сколько раз состояние ячейки в 20-й клетке отличается от начального значения?

• Ответ: 0,9933¹⁹ ≈ 0,880 раза.
• Хорошо бы добавить: фактическое значение из раздела 5 (0,988 → 0,864, примерно в 0,875 раза) немного меньше, потому что входной вентиль приоткрыт на 0,007 и помехи (10 раз −1 и 9 раз +1) просачиваются внутрь.
• Оценка (2 балла): верная степень (19) — 1 балл, верное значение — 1 балл. Если взята 20-я степень (0,874), ставится только 1 балл.

Q4. Сколько параметров в рекуррентном слое SimpleRNN, LSTM и GRU (формула из учебника) при скрытом размере 16 и входе 1?

• Ответ: один набор = 16 × 17 + 16 = 288.
  • SimpleRNN: 288
  • LSTM: 4 × 288 = 1 152
  • GRU (формула из учебника): 3 × 288 = 864
• Хорошо бы добавить: стандартный GRU в Keras добавляет ещё 48 смещений, итого 912. Это совпадает с выводом кода 2.
• Оценка (3 балла): по 1 баллу за каждое.

Q5. LSTM не справилась при T = 100. Можно ли заключить, что «LSTM не умеет хранить долгую память»?

• Образцовый ответ: нельзя.
  • Если подобрать веса правильно, как в разделе 5, LSTM способна хранить долгую память.
  • Неудача означает, что за 30 эпох градиентный спуск не нашёл таких весов.
  • Чтобы сделать вывод, нужно изменить время обучения, скорость обучения, объём данных и повторить эксперимент с несколькими сидами.
• Оценка (3 балла)
  • 1 балл: разграничены возможности архитектуры и результат обучения.
  • 1 балл: предложен альтернативный эксперимент.
  • 1 балл: сказано о необходимости повторных экспериментов (с разными сидами).

Примеры решений заданий Colab

Базовое задание: держать входной вентиль всегда открытым (i = σ(5))

• Ожидаемый результат: на каждой клетке к состоянию ячейки прибавляется 0,993 × g(±0,995). Состояние ячейки сильно колеблется вслед за последними помехами, и даже если перевернуть первый сигнал, значение через 20 клеток получается почти тем же.
• Учащийся обязательно должен привести значения, вычисленные кодом. Преподаватель перед занятием сам один раз запускает код и проверяет числа.
• Пример хорошего вывода: «Входной вентиль решает, ‘когда записывать’. Если записывать когда попало, старый сигнал затирается новыми».

Задание повышенной сложности: превратить неудачу при T = 100 в успех

• Что стоит попробовать
  • Увеличить число эпох (например, до 100 и более)
  • Изменить скорость обучения (0.001, 0.01)
  • Увеличить обучающие данные
  • Начинать с коротких последовательностей и постепенно удлинять их (обучение по учебному плану, curriculum learning)
  • Изменить скрытый размер
• Результат станет ясен только после запуска. Пусть учащиеся составят таблицу как минимум по 3 сидам, а если успех или неудача зависят от сида, сообщат и об этом как о результате.
• На что смотреть при оценке: менялось ли за раз только что-то одно. Также проверьте, не отобраны ли для отчёта только удобные результаты.

Вопросы, которые часто звучат на занятиях

• «В учебнике сказано, что RNN не справляется с длинными последовательностями. Почему же SimpleRNN справилась при T = 50?»
  • Задача сравнительно простая (нужно запомнить только первую клетку), а при некоторых способах инициализации память держится довольно долго. В рекуррентных слоях Keras рекуррентные веса по умолчанию инициализируются ортогональной матрицей.
  • Важно не подгонять результаты эксперимента под фразы из учебника, а сообщать их как есть, указав условия.
• «Почему GRU не справилась при T = 50?»
  • При этих настройках (30 эпох, скорость обучения 0.005) при обоих сидах результат остался на уровне случайного угадывания. Только по этому эксперименту причину однозначно не установить. Это хороший повод для задания повышенной сложности.
• «Вентиль забывания был в LSTM с самого начала?»
  • Нет. В исходной статье 1997 года его не было; Gers и соавторы добавили его в статье 2000 года (доклад на конференции — 1999 год).

3-8Внимание и трансформеры

Вернуться к советам преподавателю на странице 3-8

Ответы на проверочные вопросы и критерии оценки

Q1. Чему равна оценка q·k / √d_k при q = [2, 0.4], k = [2, 0], d_k = 2?

• Ответ: q·k = 4, 4 / √2 ≈ 2,828.
• Оценка (2 балла): скалярное произведение — 1 балл, деление — 1 балл.

Q2. Каковы softmax для оценок [1.98, 1.98, 2.772] и результат смешивания V = [10,0], [0,10], [6,6]?

• Ответ: внимание ≈ [0.238, 0.238, 0.525], результат ≈ [5.53, 5.53]. Вывод кода 1 — [5.525, 5.525].
• Оценка (3 балла): softmax — 1 балл, формула взвешенной суммы — 1 балл, значение — 1 балл. Отклонение ±0,01 считается верным ответом.

Q3. Если использовать только самовнимание без позиционного кодирования, каким будет выход каждого слова при перемешивании порядка слов?

• Образцовый ответ: точно таким же. Выход каждого слова определяется только сравнением со всеми остальными словами, а множество сравниваемых слов не зависит от порядка. В коде 1 разница составила 1e-16, то есть на уровне погрешности вычислений.
• Оценка (2 балла): результат — 1 балл, причина — 1 балл.

Q4. Сколько параметров в слое многоголового внимания при d = 512 и что изменится, если сделать 16 голов?

• Ответ: 4 × 512² + 4 × 512 = 1 050 624. При изменении числа голов количество не меняется (меняется только ширина головы: 64 → 32).
• Оценка (2 балла): значение — 1 балл, «не меняется» с объяснением причины — 1 балл.

Q5. Как изменится число оценок внимания, если длина вырастет с 4 096 до 8 192?

• Ответ: в 4 раза (16 777 216 → 67 108 864). 1 балл.

Примеры решений заданий Colab

Базовое задание: не делить на √d_k

• В примере с библиотекой без деления оценки становятся в √2 раза больше, и внимание сильнее смещается в одну сторону.
• Если увеличить векторы в 10 раз, оценки вырастут в 100 раз, и softmax отдаст почти всю единицу одной клетке. Тогда градиенты остальных клеток становятся близки к 0, и обучение затрудняется.
• Пусть учащиеся приводят числа, вычисленные кодом.

Задание повышенной сложности: убрать позиционные эмбеддинги

• Ожидание: без информации о позиции первая клетка не отличается от остальных. Поэтому выделить только первую клетку не получится, и доля верных ответов, как ожидается, приблизится к уровню случайного угадывания. «Внимание к первой клетке» тоже, вероятно, упадёт примерно до 1/T.
• Фактические результаты пусть проверят запуском. Преподаватель перед занятием сам один раз запускает код.
• На что смотреть при оценке: связано ли объяснение с выводом раздела 6 «при перемешивании порядка результат тот же».

Вопросы, которые часто звучат на занятиях

• «Почему числа для LSTM отличаются от 3-7?»
  • Код 2 в 3-8 заново построен как модель с фиксированной длиной входа (в 3-7 длина произвольная). Поэтому начальный вычислительный граф и расход случайных чисел немного отличаются.
  • Результаты при T = 100: в 3-7 — 48,9 / 47,2%, в 3-8 — 50,6 / 57,4%. Вывод одинаков: оба на уровне случайного угадывания.
• «Трансформер победил — значит, LSTM больше не используют?»
  • В этой задаче правильный ответ — «одна первая клетка», поэтому она особенно выгодна для внимания.
  • При обработке в реальном времени по одной клетке или при малом объёме данных рекуррентные модели по-прежнему используются (3-7, раздел 9).
• «А сколько параметров в базовой модели из исходной статьи?»
  • На этой странице по формуле вычислен один блок (3 152 384 параметра).