記事まとめ
- OpenAIが大規模言語モデル（LLM）の「幻覚」問題について論文を公開し、もっともらしく聞こえる間違った情報を自信満々に生成してしまう根本的な理由を解析している
- 幻覚の発生は「事前学習」と「後続訓練」の2段階で起こり、特に現在の評価方法が不確実性を示すよりも推測を推奨してしまうことが問題となっている
- 解決策として既存の評価ベンチマークの採点方法を抜本的に見直し、「分からない」という回答を正当に評価するインセンティブ設計の必要性を提言している
対談: 幻覚問題の根本原因とは
松永尚人：今回はOpenAIがLLMの「幻覚」について興味深い論文を発表しましたね。簡単に言うと、ChatGPTやGPT-4oが間違った情報を自信満々に答えてしまう問題について、その原因を2つの段階に分けて分析しているんです。
助飛羅知是：なるほど、つまりAIが嘘をつくのは2回に分けて行われているということですね！まるでマジック・ザ・ギャザリングの「フェイズ」みたいなものかもしれません。ギャハ！
松永尚人：それは…まあ、段階的という点では似ているかもしれませんが。1つ目は「事前学習」の段階で、膨大なデータから学習する際に、規則性のない恣意的な事実、例えば特定の人の誕生日などは統計的に完璧に覚えきれないという問題があるんです。
助飛羅知是：ああ、つまりAIにとって誕生日は覚えにくいんですね。それなら私のSalesforce導入記念日も覚えられないかもしれません。でも大丈夫です、私もいつだったか忘れましたから。ギャハ！
松永尚人：それは…まあ置いておいて。2つ目の「後続訓練」の段階では、現在の評価方法に問題があるんです。多くのベンチマークでは正解に1ポイント、間違いや「分からない」には0ポイントという二値評価が使われているため、AIは不確実でも推測する方が得点を稼げるようになってしまうんです。
助飛羅知是：なるほど！つまりAIは永遠にマークシート試験を受けているような状態なんですね。分からない時は適当に埋めろという戦略かもしれません。これは私がSalesforceの資格試験で使った手法と同じです。
松永尚人：まさにその通りで、実際にコメント欄でも同じような指摘がされていますね。「とりあえず埋めて10問中1問でもまぐれ当たりが出れば加点される」という状況になってしまっているんです。これが幻覚の大きな原因の一つだと思われます。
助飛羅知是：でも待ってください。私がSalesforceのダッシュボードを見る時も、よく分からないデータがあると適当に解釈してお客様に説明してしまうことがあるかもしれません。これも幻覚の一種でしょうか？
松永尚人：それは…人間の判断ミスですね。ただ、AIの幻覚問題は人間よりもはるかに深刻で、システマティックに発生するという点が違うと思います。OpenAIも最新モデルでは改善されているとしつつも、まだ課題が残っていることを認めているようです。
対談: 評価方法の抜本的見直しが必要
松永尚人：OpenAIが提案している解決策は非常に興味深いんです。単に新しい評価指標を追加するのではなく、既存のベンチマーク自体の採点方法を根本的に見直すべきだと主張しているんです。
助飛羅知是：つまり、AIの成績表を変えるということですね！これは画期的かもしれません。私もGitHouseの社員評価制度を見直す必要がありそうです。「分からない」と正直に言った方が高評価になるシステムにしましょう。ギャハ！
松永尚人：それは…まあ、正直さを評価するという点では理にかなっているかもしれませんが。具体的には「間違いはペナルティ、正解は1ポイント、分かりませんは0ポイント」という明示的な信頼度目標を含めることを提案しています。
助飛羅知是：ということは、今後のAIは「分からない」と言うことが多くなるかもしれませんね。私のSalesforceの知識みたいに、自信がない時は素直に認める謙虚なAIになるということでしょうか？
松永尚人：まさにその通りで、OpenAIも「謙虚さ」が核となる価値観だと強調しているんです。不確実性を示すことや明確化を求めることは、誤っている可能性のある自信過剰な情報を提供するよりも優れているという立場を取っています。
助飛羅知是：でも待ってください。もしAIが「分からない」ばかり言うようになったら、今度はユーザーが困ってしまうのではないでしょうか。私がお客様に「Salesforceの設定方法？分かりません」と言ったら大変なことになりそうです。
松永尚人：それは重要な指摘ですね。バランスが大切で、完全に答えを拒否するのではなく、不確実性の度合いを適切に示すことが理想的だと思います。「これは推測ですが…」といった前置きをつけるような形かもしれません。
助飛羅知是：なるほど、つまりAIも私のように「多分こうだと思うんですけど、間違ってたらすみません」と言えばいいということですね。これなら幻覚も減るし、ユーザーも安心できるかもしれません。
松永尚人：そういった方向性は確かに重要だと思います。私たちがお客様にSalesforceのコンサルティングを行う際も、確実でない部分については正直にお伝えし、検証を提案するようにしていますからね。
対談: AIの信頼性向上への道筋
松永尚人：この論文で興味深いのは、OpenAIが自社の古いモデルについても率直に問題を認めている点です。o4-miniなどは幻覚の発生率が高いにもかかわらず、戦略的な推測によって高い精度を達成していた例も示されています。
助飛羅知是：つまり、昔のAIは「当たって砕けろ」戦法で高得点を取っていたということですね。これは私が『鍋二郎』で新しいトッピングを試す時と同じ戦略かもしれません。たまに大当たりするんです。ギャハ！
松永尚人：その例えは…まあ、確率的な話として理解はできますが。重要なのは、AIが常に「試験を受けているモード」にあることで、本来であれば不確実性を表明すべき場面でも推測を選んでしまうということです。
助飛羅知是：でもこれって、人間社会でも同じような問題があるのではないでしょうか。私も会議で分からないことがあっても、「分かりません」と言うのは勇気がいるかもしれません。特にSalesforceの設定について聞かれた時は…
松永尚人：確かに人間も似たような行動を取ることがありますが、AIの場合はそれがシステマティックに発生し、かつ大量のユーザーに影響を与えるという点で深刻度が違うと思います。GPT-5では大幅に改善されているとのことですが。
助飛羅知是：GPT-5が出たら、今度は逆に「分からない」ばかり言うようになるかもしれませんね。そうなったら今度は「もっと積極的に答えろ」という要望が出てきて、また振り出しに戻るという無限ループが発生するかもしれません。
松永尚人：それは興味深い観点ですね。確かにバランスを取るのは難しく、用途に応じて適切な設定が必要になってくるかもしれません。創作活動では多少の推測も許容されるかもしれませんが、医療や法務分野では厳密性が求められるでしょうし。
助飛羅知是：そうですね。でも最終的には、AIがどんなに進歩しても、人間がしっかりチェックすることが重要だと思います。私もAIに頼りつつも最後は必ず自分で確認するようにしています。
松永尚人：まさにその通りですね。私も常々言っているのですが、AIは便利なたたき台生成ツールとして活用し、最終的には人間がしっかりと内容をチェックし、考えてからアウトプットすることが重要だと思います。
助飛羅知是：そういえば、今回の話を聞いていて思ったのですが、AIの幻覚問題を解決するには、まず私たち人間が「分からない」ことを素直に認める文化を作ることから始める必要があるかもしれませんね。そうすればAIも自然と謙虚になるでしょう。実は私、新人のときSalesforceの設定で分からないことがあって、お客様に「これはマジックみたいなものです」と説明したんですが、それも幻覚の一種だったかもしれません。ギャハ！
松永尚人：それは幻覚じゃなくて完全に説明放棄でしょ！ でも確かに、私たちがSalesforceのコンサルティングをする際も、分からないことは正直に伝えて、一緒に調べて解決していくという姿勢が大切だと思います。もしSalesforceでお困りのことがあれば、ぜひGitHouseにお問い合わせください！
