ショウジョウバエはどうやって嗅ぎ、見て、気づくのか

なぜよりによって電気なのか — 5つの理由

1. 共通言語：光・におい・音・味をすべて同じ形に変えてこそ、脳は一か所でそれらを混ぜて比べられます。ディープラーニングが写真も文字も音もすべて数のリストに変えるのと同じ理由です。
2. 速い：におい分子が体の中を漂って広がる速さでは、ハエたたきをよけられません。イオンの流れで伝わる電気信号なら、体の端から脳まで一瞬で届きます。
3. 遠くまで行っても弱まらない：スパイクは軸索を進みながら次々と新しくつくり直されます。だから長い道のりを進んでも大きさが小さくなりません。
4. 強さは「何回」で表す：スパイク1回の大きさはいつも同じで、刺激が強いほど頻繁に発射します。大きさではなく回数で強さを伝えるので、ノイズに強いのです。この発火頻度が人工ニューロンの「出力の数値」にあたります。
5. シナプスで強さを調節できる：ニューロンとニューロンのすき間では、電気が化学物質（神経伝達物質）に変わって渡っていきます。このとき、どれだけ多く、どれだけうまく伝わるかがまさに重みであり、学習とはこの伝達効率を変えることです。

例外もあります。複眼の光受容体のように短い距離だけ信号を送るニューロンは、スパイクの代わりに電圧を連続的に上げ下げして伝えます。「光」を選んで違いを確かめてみましょう。

学習したルールはどこに書かれているのか

右のハエの「ルール」は、どこにも文章として書かれていません。近づく値が2つ、つまり重みが2つ、それがすべてです。ディープラーニングのモデルもまったく同じです。数百万、数十億個の重みがそのままルールなので、性能は高くても「なぜそう判断したのか」を人の言葉で取り出すのは難しいのです。ルールベースは説明しやすく、学習ベースは適応しやすい。ショウジョウバエは両方を一緒に使い、初めての状況では生まれつきのルールでしのぎ、経験が積み重なると学んだルールで修正します。

初心者向けの解説

このモデルでの「学習」とは、w と θ をちょうどよく合わせることです。ショウジョウバエは、この値が進化によってすでに合わせられた状態で生まれてきます。w を大きくすると薄い二酸化炭素でも逃げ、小さくすると濃くないと逃げません。

限界もはっきりしています。このモデルは入力をたった一つしか見ません。ショウジョウバエが実際にぶつかる問題、たとえば「果物の香りと酢の香りが一緒にするけど、食べられる？」のように複数の信号をあわせて考えなければならない問題は解けません。そこで入力を増やします。

「学習」は実際に何をしているのか — 4つのステップ

1. 予測：今の w₁、w₂、b で、においひとつのスコアを計算します。
2. 誤差：正解（エサ 1、そうでない 0）と予測確率の差を測ります。
3. 責任を分ける：誤差にそれぞれの入力の大きさを掛けて、どの重みがどれだけ間違いの原因になったかを求めます。
4. 直す：重みをその反対方向へ少し（学習率 η の分だけ）動かします。これをすべてのにおいについて繰り返します。

「難しい問題」を選んで学習させてみましょう。実際のショウジョウバエは、薄い酢のにおいには近づきますが、濃すぎる酢のにおいは避けます。エサの領域が2本の線にはさまれた帯の形になるのですが、線1本ではこの帯を切り出せません。どれだけ長く学習しても、正解率がある程度で止まってしまいます。これが次の段へ進まなければならない理由です。

覚えたのか、理解したのか — 訓練データと検証データ

試験問題を前もって見て勉強した生徒は、その試験で100点をとっても実力を証明したことにはなりません。モデルも同じです。そこでデータを2つに分けます。訓練データ（塗りつぶした点）だけで重みを直し、学習に一度も使っていない検証データ（中が空の点）で採点します。本当の実力は検証スコアです。

1. 学習不足：訓練スコアも低い状態。モデルが単純すぎます。②段の難しい問題がこれにあたります。
2. ちょうどよい：訓練スコアと検証スコアがどちらも高く、近い値です。
3. 過学習：訓練スコアは高いのに検証スコアが低い状態。データが少なかったり、間違った正解が混ざっていたりすると、モデルはルールの代わりに個々の例を丸暗記してしまいます。「少なくノイズ入りのデータ」を選んで確かめてみましょう。

過学習を防ぐよくある方法は、データを増やす、検証損失が再び上がりはじめたら学習を止める（早期終了）、モデルを必要以上に大きくしない、の3つです。ショウジョウバエも似た問題を抱えています。一度の偶然の経験を一般化しすぎないよう、繰り返し訓練を受けてはじめて長続きする記憶ができます。実際のディープラーニングでは、検証データとは別に、最後にたった一度だけ使うテストデータを取り分けておくこともあります。

誤差逆伝播を言葉で説明すると

出力で生じた誤差を「誰の責任か」をたどって逆向きに分け与える計算です。出力ニューロンと強くつながっている隠れニューロンほど、そしてそのときよく活動していた隠れニューロンほど、多くの責任を負います。責任が決まったら、入力 → 隠れの接続までまとめて直します。

ショウジョウバエはこの逆向きの分配をしません。ケニオン細胞へ入る接続はほぼランダムに決まったまま変わらず、ドーパミンが最後の接続（ケニオン細胞 → 出力ニューロン）だけを直します。「ショウジョウバエ方式」を選ぶと、隠れニューロンが少ないうちはうまくいきませんが、数を30〜60個に増やすと、ランダムな線だけでも帯を切り出せます。ショウジョウバエがケニオン細胞を約2,000個も持っている理由が想像できますね。

なぜ層をいくつも積み重ねる必要があるのか

「近づく物体」を個眼の明るさの値から一度に見抜くルールは、つくるのが難しいものです。物体は暗いこともあれば明るいこともあり、右にいることも左にいることもあるからです。そこで問題をやさしいかけらに分けて、層ごとに一つずつ担当させます。

1. 第1層（ラミナ）：この個眼はいま暗くなった？明るくなった？
2. 第2層（メダラ・ロビュラプレート）：隣の個眼と比べると、縁はどちらへ動いている？
3. 第3層（ロビュラ）：上・下・左・右の4方向すべてで、外側へ広がる動きがある？
4. 出力（ジャイアントファイバー）：そうなら、いますぐ飛び立つ。

「横切る物体」は、片側の縁は外へ、反対側は内へ動くので、4方向すべての条件を満たしません。だから大きく速く動いてもジャンプしません。写真から猫を見分ける CNN も、こうして線 → 角 → 部分 → 全体の形と層を積み重ねていきます。

このページの視点から見た主な違い

このページ（特別編 1）のはしご（超シンプル → 多層）は、MLP と CNN の側のお話でした。ショウジョウバエ方式はその横で、「隠れ層を学習しなくても、広く疎にすればかなりうまくいく」という別の答えを示しています。機械学習では、ランダム特徴、エクストリーム・ラーニング・マシン（ELM）、リザバー・コンピューティングが同じ発想です。ショウジョウバエの脳には RNN・LSTM のように時間を扱う回路（中心複合体）もありますが、このページのモデルは一度で判断するタイプです。

この例から読み取れること

どちらのモデルも訓練用の絵は100%当てましたが、検証用の絵ではショウジョウバエ方式が83%、MLP が89%です。この差（訓練と検証の開き）が過学習の度合いです。ショウジョウバエ方式は、学習される接続が MLP の約36%しかないのに、検証正解率はそれほど見劣りしません。どちらのモデルも、検証用の丸6枚のうち2枚をバツと判断しました（下の混同行列）。クラスごとの学習用の絵が24枚しかないと、こうした間違いが起こります。自分で描いた絵で試したいときは、共通セクション A のコード2を Colab で実行してください。