同じ文章なのに、AIが数えるトークンが三割ぶん増えていた
単価の表を見比べて、去年と変わっていないと安心していた。
変わっていたのは値段ではなく、数え方のほうだった。
月末に利用明細を見て、ん、と手が止まった。
使い方はほとんど変えていないのに、数字が前より大きい。
単価の表を開いて見比べても、去年と同じ数字が並んでいる。
しばらく探して、原因は値段の欄の外にあった。
何があったのか
Anthropic の料金ページに、こういう注意書きがある。
Claude 4.7 以降のモデルは新しいトークナイザーを使っていて、同じ文章に対しておよそ30%多いトークンを生む。
増える度合いは中身によって変わる、とも書いてある。
Sonnet 4.6 までは前のトークナイザーのままなので、世代をまたいだところに段差がある形だ。
トークンというのは、機械が文章を数えるときの単位で、だいたい単語や文字のかたまりに当たる。
料金はこのトークンの数に単価を掛けて決まる。
つまり単価が同じでも、数える量が増えれば請求は増える。
値札のほうも動く。
Claude Sonnet 5 は導入価格として100万トークンあたり入力2ドル・出力10ドルで出ていたが、これは2026年8月31日まで。
9月1日から入力3ドル・出力15ドルになる。
この3ドルと15ドルは、ひとつ前の Sonnet 4.6 と同じ数字だ。
表だけ見れば据え置きに見えるのに、同じ原稿を渡したときの数え方が違う。
安いほうの選択肢が消えたわけではない。
7月31日に公開された DeepSeek V4 Flash 0731 は、100万トークンあたり入力0.09ドル・出力0.18ドルという値段が付いている。
桁がふたつ違う。
値段の話をするなら、この幅の広さのほうが本当は大きい。
僕がひっかかったところ
まず、自分が値札しか見ていなかったこと。
単価が同じなら費用も同じ、と当たり前のように思っていた。
でも請求は単価と量の掛け算で、僕はそのうち片方しか見張っていなかった。
電気代を単価だけで判断して、使った量の欄を読まないのと同じことをしていた。
次に、日本語で書いている人間には効きが強いこと。
第三者の分析では、増え方は1.0倍から1.35倍くらいの幅で、コードや構造化されたデータ、それに英語以外の文章で重くなりやすいとされている。
日本語は英語以外だ。
同じ「三割増」と言われても、英語で書いている人と日本語で書いている僕とでは、同じ痛み方をしない可能性がある。
そして、これが値上げという言葉で呼ばれないこと。
数え方が変わるのは、性能を上げるための設計変更で、実際に注意書きにもその趣旨が書いてある。
隠されているわけでもない。
ただ、料金表の数字だけを追いかけている人には届かない。
個人でこつこつ使っている側は、たいてい料金表しか見ていない。
で、僕はどうするか
ひとつめ。
1トークンいくらではなく、1回の仕事でいくらかを見るようにした。
記事を一本下書きさせたら何円、みたいな単位で控えておく。
これなら数え方が変わっても、そのまま比べられる。
ふたつめ。
8月のうちに、自分の実測値を控えておく。
9月に入ってから「高くなった気がする」と言っても、比べる相手がいない。
いつもの作業を三種類くらい、いま何トークン使っていて何円なのかだけ書き留めておく。
五分で終わるし、これをやっておかないと来月の自分が困る。
みっつめ。
全部を同じモデルに任せるのをやめる。
誤字を直す、表を整える、決まった形に流し込む。
この手の作業に高いモデルを使う理由はあまりない。
同じ前提を何度も送るなら、キャッシュの仕組みを使えば読み直しぶんは安くなる。
一社に全部を握らせない、というのは重みが公開されたモデルの回でも書いたけれど、値段の面から見ても同じ結論になる。
道具が良くなるのは歓迎したい。
そのぶん請求も動く、というだけの話で、困るのは値段が上がることより、上がったことに気づけない仕組みのほうだと思う。