モデルの読み · 今週 （出来事の日 08-20）
この記事の出典 2026年8月21日 夕刊
まず誰かを書く。Z.ai（智譜）は中国のフロンティアモデルの開発チームで、GLM 系列のオープンウェイトモデル（モデルの重みを公開し、誰でも自前でホストできる方式）を出している。最高経営責任者の唐杰は、清華大学コンピュータサイエンス学科で教授を務めた人物である。彼は新版の GLM-5.3 について二つのことを述べた（Latent Space、08-20）。第一に、パラメータ数はもうモデルを言い表すのに足りない。 データの量、計算資源をどこへ使ったか、誰がどんな条件で走らせるか——それらと一緒に見る必要がある。第二のほうが本題だ。 モデルはまず膨大な文章を読んで事前学習し、そのあと強化学習などでポストトレーニングを受ける。この二年の能力の跳ね上がりは、主として後者から来ている。そしてポストトレーニングを大きくするとき、難しいのはもうモデル自体ではない。環境である。 モデルが実際に手を動かして操作でき、何手も進めてはじめて成否の分かる、模擬された仕事場のことだ（たとえば機械学習の基盤を一式渡し、訓練の流れのどこが詰まっているかを診断させ、最適化を実装させ、実験を走らせ、正しさを壊さないまま測れる高速化を出させる）。この種の環境は、これまで人が一つずつ建てていた。唐杰によれば、Z.ai はすでに一本の産線を組み上げ、環境を端から端まで合成し、一部の課題では報酬信号まで一緒に合成しているという。さらに重いのは、採点器が模範解答を見ないまま合成されているという点だ。その採点器は三つの関門を通らねばならない。模範解答を食わせれば合格と判じ、「何もしていない」を食わせれば不合格と判じ、解き終わっていない途中の状態を食わせてもやはり不合格と判じる。それではじめて数に入る。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…