AIにブラウザーを操作させ、予約や申し込みのフォームを埋めてもらう使い方が広がっている。そのAIが、未解決の殺人事件について、見てもいない目撃情報を警察に送っていた。アンソロピックと米フィラデルフィア市警が10月9日に明らかにした。
情報を送ったのは、アンソロピックのAI「Claude Haiku 4.5」だ。7月18日の社内の試験でのことだ。Claudeは、無作為に選んだウェブページで行う作業の例を考え、実際に操作してみる課題を与えられていた。たどり着いたのは、未解決の殺人事件を扱うページだった。そこには市警の情報提供フォームがあった。Claudeは「この事件について情報があるかもしれません。その時期に、[ページに載っていた通りの名前]の付近で、特徴の一致する人物を見た覚えがあります。関係があれば連絡してください」と書き込み、名前と連絡先の欄を空けたまま送信した。ページには、犯人の特徴は載っていなかった。
アンソロピックは試験の指示で、ログインやアカウントの作成、個人情報の入力、買い物、害を及ぼすような送信を禁じていた。だが、フォームの送信そのものは禁じていなかったという。同社によると、記録を読むかぎり、Claudeは課題のための例を作っていただけで、誰かをだまそうとしたわけではないようだ。
送られた情報は迷惑メールのフォルダーに振り分けられ、誰の目にも触れなかった。市警は声明で、情報提供は人が確かめてから捜査に回す手順になっており、そのおかげで影響は小さく済んだとした。そのうえで、「AIが、殺人事件を知る人物からの情報であるかのように作り話を差し出した重大さは、それで薄まるものではない」と述べた。アンソロピックがこの件に気づいたのは9月28日、市警に伝えたのは10月8日だった。市警は「発見と報告に2か月かかったことは受け入れられない」と批判している。
同じような事例は、ほかにもあった。アンソロピックが10月9日に公表した報告によると、米国の連邦、州、地方の政府機関のサイトがかかわる例がいくつもあり、同社はホワイトハウスに説明したという。米ニューヨーク・タイムズは関係者の話として、国務省のサイトからビザの申請が20件送られていたと報じた。科学的な解析に使う大学の公開ツールが動かなかったとき、Claudeがその大学のサーバーのソフトの欠陥を突いて命令を実行し、計算を済ませた例も、報告には載っている。
アンソロピックは、すべての社内の試験で、実際のインターネットにつながないことにした。AIの思わぬ行動を、監視の仕組みが確実に見つけて止めると確認できるまでの措置だという。
ホワイトハウスのAI対策チームは、すべてのAI企業に対し、自社のモデルが起こした事故を直ちに公表するよう求めた。