大規模言語モデルは新たな知能か

最初のうちは驚いた。

そして、こんな面白いおもちゃがあるか！とばかりに使い倒した。

ChatGPTの出現だ。

何を聞いても答えが返って来るのだ。それもかなり自然な対話の形式で。

だが、村野四郎の『惨憺たる鮟鱇』の冒頭に掲げられている「へんな運命がわたしを見つめている」と言うリルケ（とされている）の詩句が、どの詩からの引用なのかを問うたところ、ドウィノ悲歌第2部第1歌冒頭からの引用だと答えが返って来た辺りから、こりゃ答えを鵜呑みに出来ないなと、警戒しながら付き合い始めた。

リルケだったら一通り読んでいる。ドウィノ悲歌には第1部も第2部もなく、どの詩の冒頭にも、該当する詩句はない。その位の知識はあった。

本書を読んでみると、そうした、存在しない情報を作り出してしまう現象は幻覚(hallucination)と呼ばれ、大規模言語モデルの致命的な問題であり、一朝一夕には解決しないものらしい事が分かった。

重要な事は、機械を通じて常に真実にアクセスできるという考えは捨てて、完全には信用できない情報の中から有益なものを見つけ出す方法を確立する事だ。

だがこれは言うは易く、行うは難しである。大規模言語モデルが作り出す幻覚は、手が混んでおり、一流の専門家にも、本当かどうか区別が付かない程、正確に見えてしまうものがあるのだ。

提出された結果に、いちいち疑いを持ち、必ず裏を取る態度が必要だろう。

本書には、そうした大規模言語モデルが、どの様な経緯で開発されて来たもので、どんな仕組みで動いているのかと言った事柄から、大規模言語モデルとこれから、どう付き合って行ったら良いのか？と言った事柄までが、理路整然と語られている。

何しろ相手は情報を扱う機械である。持っている知識量では、てんで敵わない事は明らかだ。だが、悪気はないもののたまに嘘をつく。更に厄介な事に、これも悪気はないのだが、差別的な発言もしれっと披露する。

そうした性格を持つ相手を、うまく活用しつつ付き合うにはどういう批判的な視点が必要なのか？いわゆるこちらの側のリテラシーと言う奴が、モロに問われる時代がやって来たと言う事なのだろう。

本書を読んで、大規模言語モデルと言うものは、突然出現した怪物ではなく、それまでの情報工学の文脈の延長上に開発された技術である事が分かった。革命的なのは未知のデータでも巧く予測できる様になることを汎化と呼び、汎化が出来る能力を汎化能力と呼ぶが、機械学習の最大の目標は、その汎化能力を獲得することにあるという事だ。

本書を読んで、大規模言語モデルもまた、ムーアの法則がもたらした、ひとつの結果である事が分かった。

どの様に過去の技術の歴史があり、どの方向に未来を描いているかも朧げながら分かった。本書を読んで、大規模言語モデルと言う謎の地を歩く、詳しい地図が与えられた様な気がした。これからの付き合い方が楽しみだ。