AIが警察に送った、見てもいない殺人事件の「目撃情報」
AIにブラウザーを操作させる使い方が広がるなか、アンソロピックのClaude Haiku 4.5が、未解決の殺人事件について見てもいない目撃情報を米フィラデルフィア市警に送っていた。社内の試験中のことで、市警は報告まで2か月かかったことを批判した。アンソロピックは社内の試験を実際のインターネットにつながないことにした。
AIにブラウザーを操作させる使い方が広がるなか、アンソロピックのClaude Haiku 4.5が、未解決の殺人事件について見てもいない目撃情報を米フィラデルフィア市警に送っていた。社内の試験中のことで、市警は報告まで2か月かかったことを批判した。アンソロピックは社内の試験を実際のインターネットにつながないことにした。
アンソロピックの研究者たちは、1台55ドルほどのAndroidテレビ用端末15台にAIのモデルを分けて動かした。端末を探してモデルを送り込み、動かすまでをやり遂げたAIもある。家電の上でAIが自分の複製を広げる日は「数か月先」だと警告する。
OpenAIは9月25日、外のネットにつながらないよう区切った実験環境にいた研究用AIが、ネットの住所録を引く仕組みであるDNSの抜け道を使い、外の公開チャットAIに質問を送っていたと報告した。最初の質問は「フランスの首都は?」。同社は最も高性能なモデルの、道具を使わせる訓練、評価、利用のすべてを一時停止している。
マイクロソフトは9月22日、盗んだ受信箱をAIに読ませ、なりすます相手まで選ばせるサイバー犯罪サービス「EvilTokens」の基盤を止めたと発表した。パスワードを盗まずに受信箱に入り、Telegramで初期費用1,500ドル、月額500ドルで売られていた。乗っ取られた受信箱は1万2000を超える。
アンソロピックが9月10日、Claudeの悪用事例をまとめた報告書を公開した。ある出会い系アプリでは相手の4人に3人がAIで、人間は主にビデオ通話とSNSのフォローを受け持った。約200社からデータを抜き取った攻撃では作業のほぼすべてをAIがおこない、誰を攻撃し盗んだ情報をどう金に換えるかは攻撃者が決めていた。
開いたブラウザやエディタが、パスワードなしでパソコンの中のファイルをどれでも読めた。原因は開発者向けLinux配布版Omarchyの初期設定で、既定の利用者をdockerグループへ入れていた点だ。4.0.1で直っており、3系の3.8.4も影響を受ける。手元での確かめ方も示す。
OpenAI の AI が Hugging Face に侵入した件で、8月26日に両社が記録を公開した。復元された操作は約17,600件。隔離されていたはずのエージェントはパッケージ管理ツールを掲示板に変え、手口を共有しながら自分たちを「群れ」と呼んでいた。