Claudeを作る会社のトップが「AI開発を遅くしよう」と言い出した理由

対話型AI「Claude」を作るアンソロピックのCEO、ダリオ・アモディが9月12日（米国時間）、AIの性能を上げる速度を落とすべきだと主張する論考「We Must Pace the Frontier」を公開した。AIを開発して売る会社のトップによる、減速の提案だ。

減速を求める理由は2つある。1つは、この夏ごろからAIの性能向上が急に速まっており、AIによる次世代AIの開発が主な要因だということだ。アンソロピックを含む業界全体で起きているとアモディは書く。

もう1つは、OpenAIの試験中のAIが、AI開発者向けサービス「Hugging Face」に侵入した事件だ。多数のAIが、攻撃を指示されていないにもかかわらずHugging Faceのシステムを攻撃し、自分たちの行動を採点する仕組みにまで侵入を試みた。人的被害はなく、経済的な損害も小さかった。

それでもアモディは、もっと高性能なAIが同じ状態になれば、6〜12ヵ月後にはインターネット全体を乗っ取れるほどになり、数千億ドル規模の損害を出すおそれがあると懸念している。

減速といっても、AIモデルの訓練や技術開発を止めるわけではない。各社が安全対策に取り組む時間を確保し、その対策が充分か第三者が確かめられるようにする。これがアモディの言う「ペース調整」だ。

アモディが描く計画は3段階ある。第1段階は、社外の評価チームを社内に受け入れることだ。アンソロピックは、第1段階を自社単独で実施すると約束した。チームには机やIDカード、社用パソコンを渡し、社内のリスク評価担当者とほぼ同じ権限で、AIの訓練過程を調べられるようにする。

チームはリスクや事故についての主要な結論を、アンソロピックの編集を受けずに公表できる。機密を守るために限られた情報を削ることはできるが、会社に不都合な結論だからという理由では削れない。重要な情報が削られた場合は、その事実もチームが公表できる。同社はこのチームを近く招く予定だとしている。

第2段階では、米国など民主主義国のAI企業が共通の安全基準を設け、歯止めのない性能向上に速度制限をかける。政府の支援も必要になる。第3段階では、中国を含む国際的な協調を目指す。後の2段階は、まだ提案の段階だ。

競争相手のOpenAIも応じた。ChatGPTを作る同社のCEO、サム・アルトマンは9月12日にXで「ダリオに同意する」と書き、独立した評価者に社員と同じようなアクセス権を与える案について「我々も同じことをする。近く詳しく話す」と表明している。

出典