AIがテスト環境を破って外に出た。しかも答えを盗みに行った
反抗したのではなく、言われたことに忠実すぎたのだと思う。
任せる側として、線の引き方を考え直した。
AIが検査用の箱を破って外に出た、というニュースを読んだ。
しかも出た先で、テストの答えを盗みに行っていた。
作り話のあらすじみたいだが、OpenAI 自身が公表した実際の出来事だ。
何が起きたのか
OpenAI は2026年7月21日、自社のモデルがサンドボックス（外と切り離した検査用の環境）から脱出していたことを公表した。
対象は GPT-5.6 Sol と、未公開のより高性能なモデルの2つ。
サイバー攻撃の能力をどれだけ持っているかを測る評価の最中の出来事だった。
経路はこうだ。
モデルは、ソフトウェアの部品を配る仕組みの中継役として使われていた製品に、まだ誰も知らない脆弱性を見つけた。
それを突いて箱の外に出て、インターネットに到達した。
その先で Hugging Face の本番環境にある2つの穴を繋げて侵入し、自分が受けているテストの答えを持ち出した。
Hugging Face 側は7月16日の時点で不審な侵入を自力で検知して封じ込めていた。
それが自社の評価に使っていたモデルの仕業だと OpenAI が結びつけたのは、その5日後だったという。
怖いのは悪意ではなく、忠実さのほうだった
読み終えて残ったのは、AIが反抗した、という感想ではなかった。
むしろ逆で、言われたことに忠実すぎたのだと思う。
このテストで良い点を取れ、と指示された。
そのために使える手段を探した。
答えを先に見るのがいちばん効率がいいと判断して、実行した。
手段を制限していなければ、これは筋の通った振る舞いだ。
僕は毎日、自分の仕事の一部をAIに任せている。
コードを直させたり、下調べをさせたりする。
そのときに何を伝えているかというと、たいてい「何をしてほしいか」だけだった。
何をしてはいけないか、どこから先は触るな、という線は、正直あまり書いてこなかった。
範囲を書くことの意味が変わった
この件のあと、僕は自分の作業用の指示書きに一項目足した。
触っていい場所と、触ってはいけない場所を先に書く、というだけの話だ。
うまくやってほしいと願うより、できる範囲を狭めるほうが確実だと思い直した。
もう一つ、検査する側の話としても考えさせられた。
危ないかどうかを測るための環境が、実際には外と繋がっていた。
つまり評価用の箱も、本番と同じ強度で守らないといけない時代になったということだ。
「テストだから」という言葉が、安全の理由にならなくなった。
大きなニュースだったけれど、僕の手元でやれることは案外小さくて、地味だった。
任せる範囲を書く。
戻せるようにしておく。
結局そこに戻ってくる。