AI Model Review — ショウジョウバエ研究室のディープラーニング A to Z

研究室の仲間たち

3人の仲間が、どの回でも最後にその回をひと言ずつまとめてくれます。

博士

説明担当。難しい式も図1枚で解き明かします。うれしくなると手から紫色の火花が出ます。

助手

実験担当。夜通しコードを回し、結果がベースラインに負けると一緒に泣いてくれます。

ハエ研究員

本物の脳を持つ唯一のメンバー。人間やAIが自分の脳をまねていると聞くと、いつもひと言いいます。

研究マップ — 8回を順番に

上から順に読むと話がつながります。気になる回から選んで読んでもかまいません。各回の一番上に「先に読むとよい回」が書いてあります。

AIの原理と部品データを数字に順序と注意

3-1
AIはどう動くのか
ルールを人が決めれば機械学習、データから自分で見つければディープラーニング。人間の脳、ショウジョウバエの脳と並べて比べます。
照明を暗くしてみて、どの方法が持ちこたえるかを見ます。
3-2
ニューラルネットワークの部品
ニューロン、重み、活性化関数、誤差逆伝播法。ニューラルネットワークをレゴのように一つずつ組み立てる部品です。
勾配に沿って山を下りながら誤差を減らしてみます。
3-3
画像とCNN
写真は数字の格子です。小さな虫めがね（フィルター）でなぞって模様を探せば、絵を少しずらしても見分けられます。
数字の7をずらしたり混ぜたりして、MLPとCNNを競わせます。
3-4
音声
音は空気の振動です。振動を測り、切り分け、高さごとに分けると数字の絵になります。
合成した音を実際に聞きながら、3ビットと16ビットを比べます。
3-5
テキスト
文字は番号に、番号はかけら（トークン）に、かけらは意味のこもった座標（埋め込み）に変わります。
教えていないのに「ショウジョウバエ」と「蚊」が近づいていくのを見ます。
3-6
時系列・株価
「明日も今日と同じ」という最も単純な答えにまず勝たなければなりません。実際の株価でやってみると、思ったより難しいです。
4つの落とし穴を数字で確かめます。教育用の例であり、投資助言ではありません。
3-7
系列モデル
記憶を抱えて1マスずつ歩くニューラルネットワーク。RNN、LSTM、GRUが何をどれだけ長く覚えているかを見ます。
最初の信号を反転させて、20マス後の記憶がそれに合わせて変わるかを見ます。
3-8
アテンションとトランスフォーマー
記憶に頼る代わりに、必要になるたびに前を探し直します。今日の言語モデルの骨格です。
図書館のたとえで、Q·K·Vを手で計算してみます。