本記事ではTransformerを基礎として発展したAIの進化について解説していきます。
前回でTransformerから直接進化してきたAIを紹介してきましたので、本記事ではそのさらに次世代AIについてです。
前回の記事をご覧になっていない方は、先にそちらをご確認ください。
【AIの進化】Transformerを基礎とし発展したAIについて【BERT・GPT-1～GPT-3】 - TomoGのごちゃまぜ倉庫
便宜上の世代分け
これまで長々とTransformerについて解説していますが、AI研究はかなり古い時代から始まっています。
詳細は全て割愛しますが、TransformerはこれまでのAIとは一線を画すアーキテクチャとなっています。
そのため便宜上、本記事ではTransformer以前のAIをとても雑ですが第1世代と置きます。
また前回の記事で紹介してきたAIは、第1世代AIをスケーリング、つまりパラメーター数を上昇させて精度を上げてきた第2世代AI。
そして今日筆者たちが触っているAIを第3世代となります。
本記事でまとめた世代まとめが下図です。
ここからはAIの進化が分かりやすいよう、世代間を比較して解説していきます。
各世代間の違い
第1世代→第2世代
まず第1世代から第2世代間の違いですが、これは前回記事でご紹介したようにパラメーター数となります。
MHAやFFNの重みパラメーター、各トークン毎のベクトルのパラメーターなど、その数はどんどんと膨れ上がっていきました。
このパラメーター数の増加については前回の記事でもご紹介しているので、そちらをご確認ください。
第2世代→第3世代
次に第2世代と第3世代の大きな違いとして、評価の基準が変わったこと。
第2世代までのAIの評価基準は、交差エントロピー損失（後ほど解説）などといった確率を基に下されていました。
ですが第3世代からは人間の評価も加える、ヒューマン・イン・ザ・ループ（以下HITL）が主流になりました。
つまりAIが出力した結果への評価が、ただの事前入力された確率に人間の反応が加えられるようになりました。
HITL
RLHF（Reinforcement Learning from Human Feedback）に代表される機械学習の手法です。
この手法によってAIの返答がより分かりやすく、ユーザーにとって求めていた情報を出力しやすくなりました。
これにより今日AIを活用した事例が多くなっていますが、内部的にもう少しどのようなメリットがあったのか掘り下げていきます。
ただし分かりやすい答えが返ってきたというのは既に説明したので、それは割愛します。
メリット
曖昧な正解が取り扱える
例えば【丁寧に】や【活発に】といった、答えが定まらないものを取り扱えるようになったことがメリットとして挙げられます。
これまでの評価では、このような概念的な表現には事前に答えが提示しにくかったのですが、HITLならば人間が【丁寧】【活発】だと思う言葉や行動が自然と評価されていきます。
逆に言えば元々想定していないデータであったとしても、人間が評価さえすればAIが学習できるため、対応できない事態に陥りにくいと言えるでしょう。
評価を後から変更できる
次に評価を後から変更できるのもメリットです。
従来の方法では膨大な確率分布の変更などをする必要がありましたが、HITLを使えば何を評価するのか人間側が変えれば対応できます。
これは後ほど紹介する制御の話にも繋がりますが、人間によってAIをある程度カスタマイズできるのもメリットとなるでしょう。
AIを制御できる
最後にAIを制御できるようになったのも大きなメリットです。
例えばChat-GPTなどを使用した時、【真面目に】や【語尾に何かつけて】回答を求めたりできます。
これはある意味でAIの制御でありどのような出力結果にするのか、ある程度人間が制御できます。
現にAIでも特定のジャンルや単語が入力できなかったりしますが、これも制御の結果でしょう。
デメリット
一見万能そうに見えるHITLですが、問題点も多く含んでいます。
例えば意図しない方法で報酬、つまり評価をよくしようとするリワードハッキング。
他にもGoodhartの法則に陥ることも。
有名どころは上記の2つかもしれませんが、人間というブレやすい評価を加えることにより、誤った答えなどが出力されるなどの問題もあります。
補足
交差エントロピー損失
損失関数の代表的なもので、主に機械学習の分類タスク予測精度を評価するのに用いられています。
原理などは抜きにしてどのような評価を下すのか、分かりやすくすると【テストをAI君が受けた時の正答率】といったところです。
テストの問題：評価すべきもの
回答者：機械学習
回答：機械学習が出した答え
模範解答：事前に用意された答え
ここで複雑なのが、模範解答が特定の答えに決定されていないこと。
現実のテストならば、例えば【1+1】という問題の答えは【2】以外存在しないが、【猫は】という問題の答えは【可愛い/動物/倒す】など特定されません。
ただ上記3つの回答が出される比率として【可愛い：60%】【動物：30%】【倒す：10％】であった場合、どれだけ機械学習が【可愛い】を出力させる確率があるか。
これが交差エントロピーです。
参考記事
本記事の内容は以上です。
ここまでで一旦Transformerから始まったAIについてはひと段落となります。
今後どのようにAIが進化していくのか、そのAIの行動原理や評価を知っておけば色んな想像ができるので、ぜひ皆さんもAIについての理解を深めてみてください。
本記事は以上です。お疲れさまでした。
