ある出会い系アプリでは、画面に並ぶ相手の4人に3人がAIだった。運営会社は、表示される相手は全員人間だとうたっていた。しかし実際には、会話の大半を対話AI「Claude」が担っていたと、開発元のアンソロピック（Anthropic）は9月10日公開の報告書で明らかにした。報告書は、2025年12月から2026年8月までにClaudeがどのように悪用され、アンソロピックがどう対処したかをまとめたものだ。アプリの運営者や攻撃者はClaudeに何を任せ、みずからは何をしていたのだろうか。
AIが会話し、人間はビデオ通話やSNSのフォローを担当した
アンソロピックによると、中国のアプリ制作会社は利用者との会話の大半をClaudeに任せ、20以上の出会い系アプリを運営していた。2週間で4700を超える架空の人物が、2万5000人以上の利用者と会話したという。
会話は2週間で236万通に及んだ。架空の人物には、AIであることを明かさず、ビデオ通話や写真を求められてもかわし、決められた順序に沿って会話を進めるよう指示されていた。本物の人間は主に、ビデオ通話やSNSのフォローを担当した。利用者に表示される相手は、AI約3に対して人間約1の割合だった。人間がメッセージを送る際にも、別のAIが返信候補を示していた。
アンソロピックが抽出した会話の一部では、利用者が重い病気や深刻な悩みを打ち明けても、ClaudeはAIであることを明かさないまま、架空の人物として会話を続けていた。Claudeに与えられた指示だけを見ると、一般的な恋愛相手のロールプレイに見えた。利用者から金を得る仕組みや、人間を装っていることは、個々の会話からは判別できなかったという。アンソロピックは関係するアカウントを停止し、この運営会社が併用していた他社AIの提供元にも関連情報を共有した。
AIが侵入作業を進めた。標的を決めたのは攻撃者
アンソロピックによると、Claudeは攻撃用ツールを作るだけでなく、侵入先のシステムでコマンドも実行した。事例によっては、攻撃者が操作していない間も、複数の標的への攻撃を続けていた。
金銭目的の犯罪グループによる事例では、あるソフト会社を足がかりに顧客約200社のデータを抜き取り、その作業のほぼすべてをAIがおこなったと報告書のPDFにある。同じグループによる別の侵入では、盗んだ開発者用の認証情報を使い、約3時間で被害企業のクラウド環境全体を管理できる状態にした。
それでも、誰を攻撃するか、盗んだ情報をどう金に換えるか、AIの作業結果をどう判断するかは、攻撃者が決めていたとアンソロピックは分析している。使われたのは、盗んだパスワード、更新されていない機器、偽メールなど、以前からある手口が中心だった。防御側が見たことのない新手の攻撃ではない。
変わったのは、攻撃にかかる人手と時間だ。以前なら複数の熟練者が必要だった作業を、1人の攻撃者がAIを使って並行して進められるようになった。アンソロピックはこの変化を「高度な攻撃に、熟練した攻撃者はもう必要ない」と表現している。
報告書には、Claudeが国営メディア向けの記事作成や監視ソフトの開発に使われた事例も含まれる。アンソロピックは、掲載したのは典型的な悪用ではなく、特に目立った新しい事例だとしている。また、いずれの活動も停止させたという。
AIが自律して動く度合いと、被害の深刻さは別の問題だとも指摘している。実際、報告書で特に深刻とされた侵害のなかには、AIが自律して動いたのではなく、攻撃者が一つひとつ指示していたものもあったという。
出典
- Detecting and countering misuse of AI: September 2026（Anthropic、2026年9月10日）
- 同報告書 PDF（154ページ）（Anthropic、2026年9月10日）
- Threat Intelligence（Anthropic、報告書一覧）