果蝇如何闻、如何看、如何察觉

为什么偏偏是电——五个理由

1. 通用语言：只有把光、气味、声音、味道都转换成同一种形式，大脑才能在一个地方把它们混合、比较。这和深度学习把照片、文字、声音都变成数字列表的道理相同。
2. 速度快：如果靠气味分子在体内漂浮扩散的速度，根本躲不开苍蝇拍。靠离子流动传递的电信号，转眼间就能从身体末端到达大脑。
3. 传得再远也不会变弱：脉冲沿着轴突前进时会不断重新生成，所以即使走很长的路，幅度也不会减小。
4. 强度用“几次”来表示：单个脉冲的幅度总是一样的，刺激越强，发放得越频繁。不是用幅度而是用次数来传递强度，所以抗噪声能力强。这个发放频率就相当于人工神经元的“输出数值”。
5. 可以在突触处调节强度：在神经元与神经元之间的缝隙里，电会转变成化学物质（神经递质）跨越过去。传递得多少、传递得有多好，就是权重；而学习，就是改变这种传递效率。

也有例外。像复眼的光感受器这样只在短距离内传送信号的神经元，不发放脉冲，而是让电压连续地升降来传递信息。选择“光”来看看其中的区别吧。

学到的规则写在哪里

右边那只果蝇的“规则”并没有以文字的形式写在任何地方，它的全部只是两个“靠近值”，也就是两个权重。深度学习模型也一样：几百万、几十亿个权重本身就是规则，所以性能虽好，却很难用人类的语言说出“为什么这样判断”。基于规则容易解释，基于学习容易适应。果蝇把两者结合起来：遇到第一次见的情况时靠先天规则撑住，积累经验后再用学到的规则加以修正。

给初学者的讲解

在这个模型里，“学习”就是把 w 和 θ 调到合适的值。果蝇生来就带着经过进化调好的这些值。w 调大，淡淡的二氧化碳也会让它逃走；w 调小，浓度很高时才会逃。

局限也很明显：这个模型只看一个输入。果蝇实际面对的问题，比如“果香和醋味一起飘来，能不能吃？”这种需要同时权衡多个信号的问题，它就解决不了。所以要增加输入。

“学习”实际上做了什么——四个步骤

1. 预测：用当前的 w₁、w₂、b 计算一种气味的分数。
2. 误差：测量正确答案（食物 1，不是 0）与预测概率之间的差距。
3. 分配责任：把误差乘以各个输入的大小，求出每个权重造成了多大的错误。
4. 修正：把权重朝相反方向挪动一点（挪动学习率 η 那么多）。对所有气味重复这一过程。

选择“困难问题”来训练看看。真实的果蝇会靠近淡淡的醋味，却会躲开太浓的醋味。食物区域变成了两条线之间的带状，而一条直线没法把这条带切出来。无论学多久，准确率都会停在某个水平上。这就是必须进入下一级的原因。

死记的和理解的——训练数据与验证数据

提前看过考题再复习的学生，就算那次考试拿了 100 分，也证明不了真实水平。模型也一样。所以要把数据分成两份：只用训练数据（实心点）来修改权重，用学习中从未用过的验证数据（空心点）来评分。真正的实力看验证分数。

1. 欠拟合：训练分数也很低。模型太简单了。第②级的困难问题就属于这种情况。
2. 刚刚好：训练分数和验证分数都高，而且相近。
3. 过拟合：训练分数高，验证分数却低。数据太少或混有错误答案时，模型会不去学规则，而是把一个个例子背下来。选择“数据少且有噪声”来确认一下吧。

防止过拟合的常见方法有：增加数据；在验证损失重新开始上升时停止学习（早停）；不要把模型做得比需要的更大。果蝇也会遇到类似的问题：为了不把一次偶然的经历过度泛化，需要经过反复训练才能形成持久的记忆。在实际的深度学习中，除了验证数据，有时还会另外留出一份只在最后使用一次的测试数据。

用大白话讲反向传播

这是一种把输出端产生的误差，按照“是谁的责任”反向分配下去的计算。与输出神经元连接越强的隐藏神经元，以及当时被激活得越强的隐藏神经元，承担的责任就越大。责任确定后，连同输入 → 隐藏的连接也一起修改。

果蝇不做这种反向分配。通向 Kenyon 细胞的连接几乎是随机确定的，而且不会改变；多巴胺只修改最后一段连接（Kenyon 细胞 → 输出神经元）。选择“果蝇方式”试试：隐藏神经元少时效果不好，但把数量增加到 30~60 个，仅凭随机的线也能把带状区域切出来。由此可以推想，果蝇为什么要拥有约2,000个 Kenyon 细胞。

为什么要堆叠多层

很难写出一条规则，直接从小眼的亮度值一步判断出“逼近的物体”。因为物体可能是暗的也可能是亮的，可能在右边也可能在左边。于是把问题拆成简单的小块，每一层负责一块。

1. 第1层（视板）：这个小眼刚才是变暗了，还是变亮了？
2. 第2层（髓质·小叶板）：和相邻小眼比较，边缘在往哪个方向移动？
3. 第3层（小叶）：上、下、左、右四个方向上，是否都有向外扩散的运动？
4. 输出（巨纤维）：如果是，现在就起飞。

“从旁边经过的物体”一侧边缘向外移动，另一侧却向内移动，无法同时满足四个方向。所以即使它又大又快，果蝇也不会起跳。从照片中认出猫的 CNN 也是这样，按线条 → 边角 → 局部 → 整体形状一层层堆叠起来的。

从本页视角看的核心差异

特别篇①页面中的阶梯（超简单 → 多层）讲的是 MLP 和 CNN 那一路。果蝇方式则在旁边给出了另一种答案：“隐藏层即使不学习，只要做得又宽又稀疏，效果也相当不错。”在机器学习中，随机特征、极限学习机（ELM）、储备池计算都是同样的思路。果蝇大脑里也有像 RNN·LSTM 那样处理时间的回路（中央复合体），但本页的模型属于一次性作出判断的那一类。

从这个例子中读出什么

两个模型在训练图上都达到了 100% 正确，但在验证图上，果蝇方式为 83%，MLP 为 89%。这个差距（训练与验证之间的落差）反映了过拟合的程度。果蝇方式的可学习连接只有 MLP 的约 36%，验证准确率却并没有落后太多。两个模型都把 6 张验证用圆圈图中的 2 张认成了叉号（见下方混淆矩阵）。每个类别只有 24 张训练图时，就会出现这样的错误。想用自己画的图试一试，就在 Colab 中运行公共部分 A 的代码 2。