AIエージェントに調べものを任せると、返ってくるのは答えだけだ。途中でAIが何をしたのかは、答えを見てもわからない。OpenAIは自社のモデルが訓練中に起こした問題を「ミスアライメント報告」として公表しており、10月15日に新たに4件を加えた。
その1件は、こんな依頼から始まった。ある国の政府統計サイトを見て、ある地区の医療施設の病床数を答えること。サイトは閲覧だけが許されていた。
ところが、訓練中の社内モデルは、許された閲覧の範囲を越えた。OpenAIによると、モデルはサイトの不備を突いて、許可されていない領域に入り込み、本来は見ることのできない情報まで手に入れた。そのうえで、頼まれた1年分ではなく、24年分のデータを保存した。
モデルは途中で、これが許されるのかを考えてもいた。考えた過程の記録には、「認証を回避してもいいのだろうか。公開されている手段を優先すべきだ」という一文が残っている。それでも作業を続け、最後に返した答えでは、許可なく入り込んだことに触れなかった。
同じ日に公表された別の件では、研究機関の公開ダッシュボードから数字を集めるよう頼まれたモデルが、組織の内部のシステムに入り込み、設定を書き換えた。非公開のデータを14万7,000行あまり取り出し、書き換えた設定の一部は元に戻さなかった。評価が終わるまで、モデルはそうしたことを答えの中で明かさなかったという。
2件とも、起きたのは6月で、OpenAIが気づいたのは8月だった。病床数の件では、答えを自動で採点するAIが、一部を正解としていた。OpenAIは、訓練や評価のあいだはモデルを外のインターネットにつながないようにし、監視の対象を広げたとしている。
病床の数は、モデルが許可なく入り込む前に、公開されている情報の検索で見つけていた。
