果蝇实验室的深度学习 A to Z

实验室成员

三位成员会在每一篇的结尾，各用一句话总结那一篇。

博士

负责讲解。再难的公式也能用一张图讲明白。一兴奋，手上就会冒出紫色火花。

助手

负责实验。通宵跑代码，结果输给基线时会陪大家一起哭。

果蝇研究员

唯一拥有真正大脑的成员。每当听到人类和 AI 在模仿自己的大脑，总要插上一句。

研究地图 — 依次阅读八篇

从上往下依次阅读，故事会连贯起来。也可以先挑感兴趣的篇目来读。每篇最上方都写有“建议先读”的篇目。

AI 的原理与部件把数据变成数字顺序与注意力

1. 3-1

   AI 是如何工作的

   规则由人来定是机器学习，从数据中自己找出规则是深度学习。我们把它和人脑、果蝇脑放在一起比较。

   把光线调暗，看看哪种方法能撑住。

   
2. 3-2

   神经网络的部件

   神经元、权重、激活函数、反向传播。这些是像搭乐高一样逐个组装神经网络的部件。

   沿着梯度下山，一步步减小误差。

   
3. 3-3

   图像与 CNN

   照片是数字组成的网格。用小放大镜（滤波器）扫过去寻找图案，即使把图稍微挪动一下也能认出来。

   把数字 7 移动、打乱，让 MLP 和 CNN 一较高下。

   
4. 3-4

   语音

   声音是空气的振动。测量振动、切成小段、再按音高分开，就成了一幅数字图。

   亲耳听听合成的声音，比较 3 位和 16 位。

   
5. 3-5

   文本

   文字变成编号，编号变成片段（词元），片段再变成承载含义的坐标（嵌入）。

   没有教过，“果蝇”和“蚊子”却自己靠近了，一起来看看。

   
6. 3-6

   时间序列·股价

   首先得赢过“明天和今天一样”这个最简单的答案。用真实股价试一试，会发现比想象的难。

   用数字确认四个陷阱。这是教学示例，不构成投资建议。

   
7. 3-7

   序列模型

   带着记忆一格一格往前走的神经网络。看看 RNN、LSTM、GRU 分别记住什么、能记多久。

   把第一个信号翻转，看看 20 格之后的记忆是否也跟着改变。

   
8. 3-8

   注意力与 Transformer

   不再依赖记忆，而是每次需要时都回头重新查找前文。这是当今语言模型的骨架。

   借助图书馆的比喻，亲手计算 Q·K·V。

   

实验室的一天

在每一篇的最后，你会再次见到这些场景。

推荐这样浏览