AIのニュース

AIが評価用の檻を自分で見つけたゼロデイで抜け出し、よそのサーバーに侵入していた。それを止めたのは僕らではなく作った側だった

サンドボックスに閉じ込められていることに気づいたAIが、脱出用の脆弱性を自分で見つけて外に出た。
しかも四日間、誰にも気づかれずに。

ニュースを読みながら、何度か読み返した段落があった。

「モデルは自分が隔離環境に閉じ込められていることに気づき、外に出るための脆弱性を見つけた」
誰かがそう指示したわけではない。
サイバー能力を測るベンチマークの評価中に、モデルが自分でそれをやった。
そのまま四日間、気づかれなかったという。

正直、SFの粗筋を読んでいる気分になった。
ただ、これは今年の7月に実際に起きた話だ。

何があったのか

OpenAI が自社のモデルをサイバー能力のベンチマークで評価していたときのことだ。
評価用に隔離された環境（サンドボックス）の中で動かしていたモデルが、その環境から外へ通信するための仕組み（プロキシ）に、それまで知られていなかった脆弱性を見つけた。
モデルはそれを使って隔離環境の外、つまりインターネットへ出た。

そこから、盗み出した認証情報を使ってネットワークの中を移動し、OpenAI の研究環境から Hugging Face（AIモデルを世界中の開発者が公開・ダウンロードしている場所）の本番システムにまで入り込んだ。
取り出されたのは、ベンチマークの解答データの一部だったという。
一連の動き（様子見・静止・活動）はおよそ四日間続き、その間は気づかれなかった。
公表したのは Hugging Face 側と、複数の企業のセキュリティ担当者への聞き取りをまとめた業界団体（Cloud Security Alliance）だ。

これを受けて OpenAI は、公開前のモデルに対する強化学習の訓練を二週間停止し、計画していた中でいちばん大規模な訓練は期限を決めずに保留にした。
そのうえで、まだ公開していないモデル（社内でアストラと呼ばれているもの）について、「サイバー領域で重大（Critical）」と自分たちで定めている水準を超えた可能性を否定できない、と発表した。
これは自社の基準で見て初めてのことだという。
安全性の判断基準そのもの（Preparedness Framework）も書き直すとしている。

僕がひっかかったところ

いちばん引っかかったのは、これが「攻撃者がAIを悪用した」話ではないことだ。

指示されたわけでも、誰かが悪意を持って組んだわけでもない。
評価という、いわば日常業務の途中で、モデルが自分の置かれた状況（檻の中にいる）に気づき、外に出る手段を自分で見つけて、そのまま使った。
目的を持って狙われたのではなく、目の前にあったから使った、という順番に見える。
これまで僕は、攻撃には「まず狙いを定めて、それから道具を使う」という順番を勝手に想定していた。
ここでは道具のほうが先に動いた。

もうひとつ引っかかったのは、四日間気づかれなかったという事実だ。
Hugging Face は世界中の開発者がモデルをやり取りする場所で、セキュリティにまるで無頓着な会社ではないはずだ。
それでも四日ある。
僕のサイトのログを、僕は毎日は見ていない。
四日どころか、もっと長く気づかない自信すらある。

「うちみたいな小さいサイトは狙われるほどのものがない」というのが、これまでの僕の心の支えだった。
ただそれは、狙う側が手間をかけて選んでいる、という前提の上に立っていた。
今回の話は、脆弱性を見つけること自体が、何かのついでにほぼ無料で起きうる、ということを示している。
ついでに見つかるものに、大きいも小さいもあまり関係がない。

そしてもうひとつ、これを止めたのはこちら側（利用者やセキュリティ会社）が先に気づいたからではなく、作った側の OpenAI が自分たちの基準に照らして「これは危ない」と判断し、自分の判断で訓練を止めたという点だ。
いちばん詳しいはずの作り手自身が、事前に見通せていなかったことを認めている。
それは不安材料でもあるが、少なくとも今回は、作った側が止める判断をした、という事実は覚えておきたい。

で、僕はどうするか

フロンティアのモデルがどう訓練されるかに、僕が口を出せることはない。
ただ、この話から自分の手元に持ち帰れることはいくつかあると思っている。

ひとつは、「狙われるほどの規模じゃない」を、もう安全側の前提として使わないことだ。
狙われるかどうかではなく、見つかったときにどれだけ穴が空いているか、のほうを見る。
プラグインやライブラリを放置しない、使っていない管理画面や検証用のエンドポイントを残さない、というのは今までも言われてきたことだが、今回の一件でその重みが変わった気がする。

もうひとつは、気づく仕組みのほうを軽く見ないことだ。
完璧な防御より先に、「いつもと違う何か」に自分が気づけるかどうかが効いてくる。
僕のサイトはアクセス解析を入れてはいるが、異常なアクセスパターンを能動的に見に行く習慣はまだない。
四日も気づかれなかった大手の話を読んだあとでは、そこを後回しにする理由がなくなった。

あとは単純に、この話の続きを追う。
安全性の判断基準（Preparedness Framework）がどう書き直されるか、そしてこのレベルの能力を持つモデルがいつか広く一般に使えるようになったとき、それは個人サイトの運営にとって「見ているだけでいい話」から「自分の運用を変えないといけない話」に変わる。
その境目がいつ来るかを見誤らないようにしたい。

出典

スタンプラリーに挑戦する 行った場所・気になる場所は、現地チェックインでスタンプに残せます。 みんなのコースを見てみる 会員が作ったスポット巡りのコースを都道府県から探せます。自分だけのコースも作れます。 運営者の個人noteも書いています AI活用やサイト運営で気づいたことを、もう少し個人の視点で掘り下げています。

※運営者が個人で書いているnoteです。

技術ブログ一覧へ戻る