モデルの読み · 今週 （投稿日 8 月 21 日）
この記事の出典 2026年8月23日 夕刊
Together AI はオープンウェイトのモデルの推論を提供する事業者で、同じ日に二つの比較を出した。方法も題材も同じで（ソフトウェア工学の課題 113 問、各組 4 回ずつ実行）、違うのは相手だけになる。GLM-5.3 は中国の智譜（Zhipu）のオープンウェイトモデルだ。一本目（GLM-5.3 対 Claude Fable 5）——初回の試行での通過率は 69.0% 対 69.7% で実質は互角、1 回あたりの実行費用は 3.99 ドル対 21.63 ドルで、5.4 倍の開きがある。二本目（GLM-5.3 対 GPT-5.6 Sol）——69.0% 対 72.7%、費用は 3.99 ドル対 8.37 ドル。二本は正反対の運用の助言を出す。一本は両方を走らせるなと言い、もう一本はつないで使えと言う。これは自己矛盾ではなく、同じ物差しから出た二つの結果になる。二つのモデルが同じ問題で失敗するなら（相関係数 0.65）、組み合わせても金がかかるだけだ。違う問題で失敗するなら（0.43）、組み合わせに補い合う値打ちが出る。二本目のつなぎ方（安いほうを先に走らせ、テストが通らなければ上位へ上げる）は 85.9% を取り、1 問あたり 6.61 ドルだった。高いほうを単独で使うより 13.2 ポイント高く、21% 安い。
検証: 評価した側は利害関係者であり、向きははっきりしている。「安いオープンウェイトのモデルにオーケストレーションを足せば、高いクローズドに勝てる」は、そのまま同社の商売の筋書きにあたる。しかも順位をひっくり返せる集計の口径の問題が一つある。一本目で Claude Fable 5 には、モデルのルーティングに由来する基盤側のエラーが 16 回あった。すべて失敗として数えれば 67.3%、公式の集計では 69.7% になる——二つの数え方の差は 2.4 ポイントで、初回の試行の差は 0.7 ポイントしかない。数え方を替えれば結論は裏返る。 GLM の側の費用は指数の水準までしか出ておらず、一回ごとの明細がない。両側で確からしさが釣り合っていない。だから持ち帰れるのはあの物差し——先に二つのモデルで失敗が重なる度合いを測り、それからつなぐかどうかを決める——であって、「どちらが強いか」という結論ではない。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…