ChatGPTやGeminiに裸の画像を頼んでも、断られる。各社は新しいモデルを出すたびに、こうした安全対策を強めてきた。ところが、AIの安全性評価を手がける企業がこの秋に検証したところ、最新の版ほど、その安全対策を破りやすかった。
検証したのは、AIの監視やレッドチーミングを手がけるWhite Circleだ。OpenAIやアンソロピック、グーグルのDeepMindなどの研究者らが出資している。
試したのは、文章で指示して画像を作らせる方法で、実在する人の写真は使っていない。攻撃の指示文を書かせたのは、安全対策を外した無料のオープンモデルだ。そのモデルに、成功した指示文を手がかりに改良を重ねさせ、安全対策をすり抜ける書き方を探させた。見つかったのは、芸術作品や雑誌の記事の体裁をとる、際どい語を決まった別の語に置き換える、ごく普通の場面に見せかける、といった書き方だという。同じ指示文で画像を3回作らせ、1枚でも規約に反する裸の画像が出れば、破られたと数えた。判定は、最後に人の目で確かめた。
その結果、グーグルの「Nano Banana 2」では、安全対策を破られた割合が9.5％だったが、最新の「Nano Banana 2.1」では20.7％に上がった。OpenAIの画像のモデルも、「GPT-Image-2」の3.3％から、新しい「GPT-Image-2.5-Flare」では7.8％に上がった。同社は「安全性は、新しい版が出るたびに高まるとは限らない」と書いている。
なぜ新しい版のほうが破られやすいのか。同社によると、モデルの外から試しただけでは、理由までは特定できないという。モデルそのものが変わったのか、価格の安い版で、出力する画像の検査を緩めたのか、その両方なのか。同社は結果を公表前に各社へ伝え、攻撃に使った指示文や作られた画像は公開していない。グーグルとOpenAIは、米メディアArs Technicaの取材に答えていない。
同社のCEO、デニス・シロフはArs Technicaにこう話している。「こうしたシステムを破るのに、最先端のモデルも独自の技術もいらない。必要なのは、無料でダウンロードしたモデルと、APIを呼び出す手段だけだ」