Если вы учащийся, сначала решите контрольные вопросы каждого выпуска, а потом сверяйтесь. Здесь приведены критерии оценивания (20 баллов за вопрос, 100 баллов за выпуск) и примеры решений заданий в Colab. Числа в примерах могут немного отличаться в зависимости от среды выполнения.
Вернуться к совету для преподавателя на странице выпуска 1
Ответ · Сумма = 1×0,8 + 0×(−0,5) = 0,8. Поскольку 0,8 ≥ 0,5, выход равен 1.
20 баллов · Оценивание: ход вычислений 10, результат 10
Ответ · Перцептрон разделяет пространство только одной прямой (плоскостью). Полосе нужны две границы — с обеих сторон, поэтому одной прямой её не отделить. Скрытый слой строит несколько границ и объединяет их.
20 баллов · Оценивание: «одна прямая» 10, «нужны две границы» 10
Ответ · Переобучение: модель запомнила обучающие данные. Меры (любые две): собрать больше данных, уменьшить число скрытых нейронов, остановить обучение раньше.
20 баллов · Оценивание: диагноз «переобучение» 10, каждая мера по 5
Ответ · Фиксированы: проекционные нейроны → клетки Кеньона (случайные разреженные связи). Обучаются: клетки Кеньона → выходные нейроны (их меняет дофамин).
20 баллов · Оценивание: по 10 за каждую часть
Ответ · Широкого разреженного фиксированного представления достаточно, чтобы простые задачи с рисунками решались обучением одного выходного слоя. Однако само представление не улучшается, поэтому на сложных задачах есть предел.
20 баллов · Оценивание: «фиксированного представления достаточно» 10, упоминание ограничения 10
Задание · В коде 1 измените TOP (долю активных клеток) с 0,08 на 0,5, сообщите, как изменятся точность на обучающих данных и число активных клеток Кеньона, и в двух предложениях объясните, чем полезна разреженность.
Пример решения · Если поднять TOP до 0,5, активируется половина клеток Кеньона, и коды разных входов сильно перекрываются. Игрушечные данные простые, поэтому точность на обучающих данных может остаться высокой, но число активных клеток вырастает примерно с 80 до примерно 500, и воспоминания легко смешиваются. Разреженный код использует для каждого входа лишь немногие неперекрывающиеся клетки, поэтому различает даже похожие запахи, а изменение одного воспоминания меньше задевает другие.
Критерии · проверено изменение числа активных клеток (5) · сообщена точность (5) · два преимущества разреженности (меньше перекрытия, меньше интерференции) (10)
Задание · В коде 2 задайте размер скрытого слоя MLP 8, 64 и 512 и сравните точность на валидационных данных для двух сидов. Объясните, видно ли переобучение, опираясь на кривые обучения (ячейка 7).
Пример решения · С ростом скрытого слоя функция потерь на обучающих данных падает быстрее, но точность на валидационных данных не растёт или колеблется в зависимости от сида. На примере из 160 образцов (96 обучающих) скрытый слой из 512 нейронов легко запоминает обучающие данные. О переобучении судят по моменту на кривых обучения, когда разрыв между потерями на обучении и точностью на валидации начинает расти.
Критерии · таблица: три размера × два сида (8) · обоснование по кривым обучения (6) · интерпретация с учётом объёма данных (6)
Вернуться к совету для преподавателя на странице выпуска 2
Ответ · Чтобы воспоминание превратилось в поведение, сигнал памяти, извлечённый в грибовидном теле, должен быть передан нейронам схождения (PD2a1/b1) в латеральном роге.
20 баллов · Оценивание: «грибовидное тело → латеральный рог» 10, «нужен нейрон схождения» 10
Ответ · Температура сама по себе может менять поведение, поэтому нужно отличить, упал ли показатель памяти из-за блокировки нейрона или из-за температуры.
20 баллов · Оценивание: цель контроля 20
Ответ · 0,2 + 0,6 × (−1,0) = −0,4 (в сторону избегания). При блокировке 0,2 (остаётся только инстинкт — в сторону приближения).
20 баллов · Оценивание: по 10 за каждую часть
Ответ · Потому что этот нейрон — общий слой, который получает оба пути (сигнал памяти из грибовидного тела и инстинктивный сигнал от проекционных нейронов запаха корма) и выдаёт их на выход.
20 баллов · Оценивание: понятие «общего» слоя 20
Ответ · Все значения инстинкта равны 0, поэтому оценки всех классов одинаковы, и модель всегда выбирает первый класс. 0,09 — это доля первого класса в тестовых данных.
20 баллов · Оценивание: «оценки становятся одинаковыми» 10, «доля первого класса» 10
Задание · В коде 1 замените значение innate на [0.0, 0.5] (инстинкт в сторону избегания), представьте в таблице результаты до обучения, после обучения и при блокировке и сравните случаи, когда инстинкт и память направлены в одну сторону и в противоположные.
Пример решения · При innate = [0.0, 0.5] оценка инстинкта указывает на «избегание» уже до обучения. Обучение с наказанием снижает оценку «приближения» со стороны памяти, поэтому после обучения тоже избегание, а при блокировке входа памяти — избегание за счёт одного инстинкта. В исходной настройке (innate = [0.5, 0.0]) при блокировке поведение возвращалось к приближению. Если инстинкт и память направлены одинаково, блокировка не меняет поведения и вклад памяти не виден; только при противоположных направлениях эксперимент с блокировкой показывает роль памяти.
Критерии · таблица трёх ситуаций (8) · сравнение с исходной настройкой (6) · вывод «видно только при противоположных направлениях» (6)
Задание · В MemoryInnate из кода 2 задайте значение innate (например, 2.0 для класса «крестик»), обучите модель, затем заблокируйте вход памяти. Сравните матрицы ошибок до и после блокировки и опишите, как инстинкт притягивает решение.
Пример решения · Если задать 2.0 для класса «крестик», во время обучения путь памяти подстраивается так, чтобы компенсировать это притяжение. При блокировке остаётся только инстинкт, и модель принимает большинство рисунков за крестик, так что значения в матрице ошибок скапливаются в столбце «крестик». Важно отметить: инстинкт работает как необучаемое смещение (bias), а память — как поправка поверх него.
Критерии · матрицы ошибок до и после блокировки (8) · объяснение перекоса в столбец «крестик» (6) · интерпретация «смещение + поправка» (6)
Вернуться к совету для преподавателя на странице выпуска 3
Ответ · 30 × 0,275 × 0,65 ≈ 5,36 мВ.
20 баллов · Оценивание: формула 10, значение 10
Ответ · До порога 7 мВ. 7 / 0,1575 ≈ 44,4 мВ. При коэффициенте усиления 1,0 нужно одновременно около 162 синапсов, при 0,65 — около 249.
20 баллов · Оценивание: расчёт 7 мВ 10, значение g 10
Ответ · На этапе непосредственно перед моторным. Горький тормоз (Scapula) перекрывает путь команды «есть».
20 баллов · Оценивание: «непосредственно перед моторным» 20
Ответ · За 200 мс число спайков за тик вырастает в пять раз, клетки Кеньона просыпаются до 39 Гц, а возникшее торможение выключает даже командные нейроны чистки (разгон активности).
20 баллов · Оценивание: явление разгона 10, отключение команды чистки 10
Ответ · Обучая лишь около 4% связей, модель угадывает довольно хорошо, но не может обучить само представление, поэтому уступает MLP. Стоит также отметить, что данных мало (32 тестовых примера), так что разница колеблется в пределах ±0,1.
20 баллов · Оценивание: сравнение долей 10, ограничения и неопределённость 10
Задание · В коде 1 замените коэффициент усиления 0,65 на 0,55 и 0,75, представьте в таблице число сработавших нейронов и среднюю частоту разрядов и в двух предложениях свяжите это с разгоном активности из раздела «Подбор усиления».
Пример решения · При меньшем усилении (0,55) ток от одного входа уменьшается, и число сработавших нейронов и средняя частота разрядов ниже, чем при 0,65; при большем (0,75) — выше. Даже в маленькой сети из кода 1 с ростом усиления разряды, распространяющиеся по обратным связям, быстро нарастают. Во всей нервной системе самца в моде этот рост проявляется как разгон активности (в пять раз больше спайков за тик, клетки Кеньона на 39 Гц), поэтому выбрано 0,65.
Критерии · таблица для трёх значений усиления (8) · объяснение направления роста (6) · связь с разгоном активности (6)
Задание · В ConnectomeLIF из кода 2 замените знак всех тормозных нейронов (−0.5) на +0.18 (убрать торможение) и обучите заново. Сравните записи спайков (ячейка 8) и точность для двух сидов и опишите, что делает торможение в сети.
Пример решения · Без торможения большинство скрытых нейронов срабатывает чаще и равномернее, и запись спайков становится плотной. Различия в паттернах разрядов для разных входов уменьшаются, у декодирующего слоя остаётся меньше информации для различения, поэтому точность падает или колеблется в зависимости от сида. Торможение ограничивает активность и делает паттерны разреженными и различимыми (ту же роль играет правило «верхние 8% клеток Кеньона» из выпуска 1).
Критерии · сравнение записей спайков (6) · точность для двух сидов (6) · интерпретация роли торможения (8)