画面を見て、自分で押すAIが出てきた。うちのサイトを訪ねてくるのが人だけではなくなる日の話
APIを叩くのではなく、人と同じように画面を見てクリックするAIの報告が出ていた。
小さなサイトを運営している側から見ると、これはかなり大きな話だと思う。
AIが賢くなったという話には、正直なところ少し慣れてしまった。
文章がうまい、コードが書ける、絵が描ける。
それらはどれも、画面の向こうで答えを返してくる話だった。
今回読んだのは、そこから一歩はみ出した種類のものだった。
画面を見て、自分でボタンを押すほうのAIだ。
何があったのか
Alibaba の Qwen のチームが、GUI エージェントの技術レポートを公開した。
名前は Qwen-UI-Agent。
論文の投稿は2026年7月30日で、ここへ来てあちこちで名前を見るようになった。
やることは単純で、スマートフォンやパソコンやブラウザの画面を直接見て、押す場所を決めて、実際に操作する。
アプリごとに用意された連携用の窓口を通すのではない。
人が目で見て指で触るのと同じ道筋をたどる。
パソコン上ではコマンドの入力も併せて行い、一回の判断でまとめて複数の操作を出す仕組みだと書かれていた。
報告されている成績は、スマートフォン操作の試験（MobileWorld）で82.1パーセント。
パソコン操作の試験（OSWorld-Verified）で79.5パーセント、ブラウザ操作の試験（WebArena）で73.6パーセント。
比較対象として並べられている他社のモデルと比べても、スマートフォン側では頭ひとつ抜けた数字になっている。
数字そのものより、この三つが同じひとつのモデルで並んでいることのほうが気になった。
僕がひっかかったところ
ひっかかったのは、性能ではなく前提のほうだ。
画面を見て操作するということは、相手のサイトが何かに対応している必要がない。
連携用の窓口を用意した覚えがなくても、うちのようなキャンプ情報のサイトは今日から操作の対象になりうる。
受け入れるか断るかを、こちら側が決められる話ではなくなっている。
検索の巡回ロボットなら、robots.txt でお願いを書く場所がある。
けれど画面を操作するエージェントは、利用者の代わりにブラウザを動かしている。
形の上では、その人が自分で見に来ているのと変わらない。
断る理屈をどこに置けばいいのか、僕にはまだ整理がついていない。
もうひとつ気になっているのは、アクセス解析の数字だ。
滞在時間が長い、何ページも回ってくれた、ボタンが押された。
これまではそれを「読まれた手応え」として見ていた。
代わりに開いて、代わりに押された結果と、人が読んでくれた結果が同じ形で記録される。
記事を書く側としては、手応えを測るものさしがひとつ曖昧になる。
問い合わせフォームも同じで、いずれ人ではないものが埋めて送信してくる日が来る。
悪意のある自動送信とは違って、これは頼まれてやっている正しい操作だ。
弾いていいものと弾いてはいけないものの線が、前より引きにくくなる。
で、僕はどうするか
身構えても仕方がないので、やることを三つに絞った。
ひとつめは、見た目に頼らない作りにしておくこと。
見出しをきちんと見出しとして書く、ボタンには何をするボタンか分かる言葉を入れる、画像には説明文を付ける。
どれも目の見えない人が使う読み上げのために言われてきたことで、いま新しく必要になった話ではない。
それがそのまま、画面を読む機械に対しても効く。
やることが増えないのは助かった。
ふたつめは、取り返しのつかない操作を一発で終わらせないこと。
送信、削除、登録。
確認の一段を挟むだけで、誤って押された場合の被害はだいぶ変わる。
うちは会員のスタンプ機能があるので、そこは特に気をつけている。
みっつめは、事実を機械が読める形で置いておくこと。
場所、営業しているかどうか、料金、電話番号。
本文にきれいな日本語で書くのとは別に、決まった形式でも書いておく。
これは構造化データとして前から入れているもので、いまのところいちばん確実に伝わる方法だと思っている。
読んでくれるのが人だけだった時代のほうが、たぶん短かったのだろう。
検索ロボットが来るようになり、AIの学習が来るようになり、こんどは画面を操作するものが来る。
そのたびに書き方を変える必要はなくて、僕は僕が書きたいものを書くだけだ。
ただ、置き方だけは相手に合わせて整えておく。
それくらいの距離の取り方が、いまはちょうどいい気がしている。
出典
※運営者が個人で書いているnoteです。