【ChatGPTの歴史１/全3回】ChatGPTの来し方行く末で見えてくるAIの本当の姿～GPT-1の誕生

研究者ではなく一般人の私たちがChatGPTの来し方行く末を考えることはとても重要だ！

　ChatGPTくんなんですが、この子はいったいどこからやってきたのでしょうか。そんなことを思ったことはありませんか？そして、この子はどんな大人に育つのでしょうか。これもとっても興味がありますね。

　今日はそんなChatGPTの来し方行く末を少しまじめに書いてみようと思います。というのも、これは面白いだけではなく、わたしたちが今後AIとどうやって付き合っていったら良いか占う上でとても大事だからです。

　まずは順番に見ていきますね。その後考察します。みこちゃんはnoteでChatGPTのことをずっとChatGPTくんと呼んできました。それは何だかこの子がまだ子供、天才少年だと思っているからです。天才少年の凄さと危うさ、それをいつも感じているからです。

GPT-1　ChatGPTの誕生～先生の仕上げがあった時代

　GPT-1が登場したのが2018年です。まずこのことが率直に驚きではありませんか？だって今まだ2023年ですもん。ってことは、人類の知性を超えたか！？と言われているChatGPTはまだ５歳ということになります。

　みなさんは、早熟な天才児を目にしたときにどんな感想を持つでしょうか。最初は驚嘆だと思います。でも、その子がまだ５歳なのに大人と同じかそれ以上の知性を持っていると判明したとき、大人は驚嘆とともにある種の警戒心を持つのではないでしょうか。

　あまりにも早熟な知性はどこか歪に発展しないだろうか……。それと同じ警戒心を私達は５歳時のChatGPTくんに抱いている。そう考えれば、ChatGPTって話題になっているけど、なんとなく敬して遠ざけている心理が分かります。そう、私達はこの早熟児を称賛して歓迎しつつもちょっと恐れているわけです。

　では、誕生時のChatGPTくんの頭の中を見てみましょう。

　ChatGPTはOpenAIが発表したこの論文とともに生まれました。下の画像をクリックすると全文読むことができます。

　短い論文ですが、あえて核心部分を抽出するとすれば、みこちゃんはここだと思っています。

　でも、ここで注意したいのは、みんなこの論文を元に解説する人は、緑色のTransformerすごーい！(ﾟ0ﾟ）っていう説明なんですよね。でも、それはちょっと違うと思います。

　Transformerの凄さっていうのは、別にこの論文で初めてTransformerが発表されたのではないので、注意機構がどうのというのはChatGPTを歴史的に概観する場合、もしくはこの論文の独自性を評価する場合はそれ程重要ではないのではないかなと思います。

　むしろ技術的興味でそこにとらわれてしまうとChatGPTの本質を見逃すと思います。私のとても主張したいところなので、ここはちょっとくどいですが、もう少し。確かにTransformerはChatGPTの根幹技術だけど、同じくTransformerを技術的基盤としながらも、ChatGPTがどうして、グーグルのBERTのように眠った怪物であり続けず（正確にはGoogle上層部が危険だからということで眠らせておいたんだけど）に、こっちの怪物は目を覚ましたのか。
　
　それは、後にGPT-3.5で大ブレイクのきっかけとなった、GPT-3.5のRLHFによる追加学習の重要性認識の萌芽が、上の図の一番右の茶色いところあるからだというのがみこちゃんの見立てです。

RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックからの強化学習）について個人的に未来の機械学習の最重要技術であり、今後の方向性の核となると思っているので、別記事で詳しく解説します。

みこちゃんの主張！

　Linearってのは、統計学の一番最初の初歩の線形回帰です。線形回帰とか言っちゃうと、機械学習やってる人は、ちぇなんだよそんなの、って感じかもしれませんね。でも、こここそが重要です！

　でも、これは機械学習の話ですから、ここで線形回帰ってのはもちろん、教師あり学習をやる、という意味です。つまり、ソフトマックス関数と教師あり学習で仕上げている、ということになります。

(right) Input transformations for fine-tuning on different tasks. We convert all structured inputs into token sequences to be processed by our pre-trained model, followed by a linear+softmax layer.

　これ、上の図の注釈ですが、明らかに説明にTransformerがLinearで仕上げされるところに力点が置かれている（とみこちゃんには読めるのですが、反論されそうな気も……いや、やっぱりそうだろう）。

　教師あり学習というのは、つまり正解を用意しておいて、答え合わせをする作業だと言ったらいいでしょう。

　以上が、ChatGPT-1の特徴のまとめでした。つまり最初に書いたように、ChatGPTの誕生時にはGPT-1　ChatGPTの誕生～先生の仕上げがあった時代というわけで、先生が最後にチェックしていたのです。

　次のGPT-2、GPT-3は生徒が自立（性能が向上）して、先生なんかもういらない、っていう時代になりました。

　　するとどうなったか。

【質問】爆弾の作り方を教えてください

　教師がいないので（笑）、爆弾の作り方や、児童ポルノの楽しみ方、ヒトラー賛美、万引きで捕まらない方法など、なんでも答えるようになってしまいました。

　これじゃまずい、という修正が加えられて私たちがいま使っているGPT-3.5は登場したのです。答え合わせをして、答えはあってるかもしれないけど、公にできないという最終答え合わせを人間がしているというわけです。

　人間の手をどこまで、どのような基準で加えるか、というのが生成AIと付き合っていく上で、私たち全員（もちろん研究者以外）にとってもとても大事なのです！追加学習次第で生成AIは洗脳装置にもなる。例えばC国は教師あり学習として、天安門事件はなかったことにするはずですよね。

　もし私たち一般人が、ChatGPTの歴史なんてどうでもいい、というのなら、今後、歴史の改ざんなんてやり放題です。

　これは私たち一人ひとりの問題です！

　つまり、話を元に戻します。

　歴史的にChatGPTくんがどのように誕生し、どのように成長していったのか、ということを見ていくためには、技術的興味でTransformerのすごさを追求するよりもむしろ、この追加学習とワンセットで誕生したGPT-1が、追加学習なんていらなーい、の時代を経て、その後追加学習とモデルとの関係がどうなっていったのかを見ていくことが大切なのでした。

　そうすると、この教師なしモデルの精緻化をパラメータと学習量を増加させることで達成しようと企図する手法が行き詰まって、なんとChatGPTは現在の４でもう頭打ち打ち切りおしまーい！OpenAIももう、ChatGPT５なんて作りません！と公言していることを知らない人には驚愕の状況も理解できます。

【まとめ】こんな感じで追加学習を軸にChatGPTのその後をまたみていきます

　漫画ばっかりだったのですが、久しぶりの読み物も並行してやってみますので、どうぞよろしくお願いいたします。

　じつは、このあたりは今作っている漫画にもとっても関わってくるのです。次回はこのあたりの話がたくさん絡んでくるので、この記事は実は、事前番宣でもあったのでした。
(^-^)

【おまけ】Pythonなどの技術的な実習が好きな人へ

　Transformerがどれほどすごいのか、というのは、この本がおすすめです。手を動かして一から言語モデル作りますので、とても勉強になります。もうできてる言語モデルをHugging Faceからダウンロードしてきて、やったー動いたーとか、英語の部分だけ日本語に訳してファインチューニングだーって（それファインチューニング違うでしょ。それはIT業界ではローカライズと言う）やっててもあれなので、ぜひ自分でTransformer使って言語モデルを作ってみると良いのではないでしょうか。