Jev の RLCD と RLHF の違いを報酬と確率から考える

2026 年 9 月 14 日、TypeSafe AI は最初の System One Model として Jev を公開した。同社は Jev を、文章を逐次生成する従来の LLM とは異なり、ソフトウェアから直接利用できる型付きの確率的判断を返すモデルとして位置付けている。そのための学習方法として TypeSafe が提示したのが Reinforcement Learning for Calibrated Decisions、RLCD である。TypeSafe の説明では、RLHF が人間の選好を主な最適化対象とするのに対し、RLCD は判断結果とともに認識論的な不確実性を確率として表現する calibrated decisions を最適化対象に置く[1]。

Jev の公開 API にも、この設計思想が現れている。Cloudflare Workers AI で提供されている Jev は、自由文を生成する代わりに、Noul、Choice、Score というあらかじめ型が定められた質問へ回答する。Choice では候補ごとの probability、Score では値ごとの probability が返され、それとは別に confidence も出力される[2]。つまり Jev がソフトウェアへ渡す主要な情報は、生成された文章そのものではなく、「どの判断がどの程度確からしいか」を表した構造化された数値である。

この違いを数理モデルとして扱うには、最初に公開情報の境界を固定する必要がある。2026 年 9 月 18 日時点で、TypeSafe は RLCD の具体的な報酬関数、損失関数、学習データの構成、確率較正に使う評価量、方策最適化アルゴリズムを公開していない。公開されているのは、RLCD が calibrated decisions を目的とすること、Jev が型付きの確率的判断を返すこと、各種評価と利用例までである[1][2]。

このため、本稿で後に導入する確率較正、proper scoring rule、ベイズ意思決定の数式は、TypeSafe が実装した RLCD の内部式を復元したものではない。公開された「較正された判断」という目的を、既存の確率論、統計学、意思決定理論によって形式化し、その目的が数理的にどのような性質を要求するかを調べるためのモデルである。TypeSafe の実装と既存理論による形式化を分離しておくことで、公開事実と理論上導ける帰結を同じものとして扱うことを避けられる。

この境界を置くと、RLHF と RLCD の差は、自由文と構造化値という出力形式の違いより深い位置にあることが見えてくる。学習によって何を大きくするのか、出力された数値にどの意味を持たせるのかが異なる。RLHF では、人間による比較判断から構成した報酬を高めることが中心になる。RLCD の公開目的を確率論として読む場合、中心になるのは、モデルが出した確率と実際に観測される結果との対応である。

1. RLHF と RLCD は何を最適化しているのか

機械学習モデルの性質を決める要因の一つが目的関数である。同じ入力を受け取り、似た内部表現を持つモデルであっても、学習時に最大化または最小化する量が異なれば、学習によって獲得される性質も変わる。RLHF と RLCD を比較する場合も、まず「何を出力するか」より、「どの量を良いものとして学習させるか」を分けて考える必要がある。

1.1 RLHF は人間の選好を報酬へ写像する

RLHF を単純化すると、入力 \(x\) に対してモデルが回答 \(y\) を生成し、その回答へ報酬 \(r_\phi(x,y)\) を与え、期待報酬を大きくする方向へ生成方策 \(\pi_\theta\) を更新する問題として表せる。入力 \(x\) を固定して考えれば、目的は次の形になる。

\[
\theta^*
=
\arg\max_\theta
\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}
\left[
r_\phi(x,y)
\right]
\]

\(\theta\) は生成モデルのパラメーター、\(\pi_\theta(y\mid x)\) は入力 \(x\) に対して回答 \(y\) を生成する確率分布、\(r_\phi(x,y)\) は回答に与える報酬である。RLHF では、この報酬そのものを人間の比較判断から学習する。たとえば、人間が二つの回答 \(y_1\) と \(y_2\) を比較して \(y_1\) を選ぶデータを集め、その比較を説明できるように報酬モデルを学習する。

ここで最初の因果関係が生じる。人間の比較結果が報酬モデル \(r_\phi\) の学習信号になり、その報酬モデルが生成方策 \(\pi_\theta\) の学習信号になる。最終的な生成モデルは、人間の選好データを直接参照しているのではなく、人間の比較を数値化した報酬を介して更新される。

\[
\text{human preference}
\longrightarrow
r_\phi(x,y)
\longrightarrow
\pi_\theta(y\mid x)
\]

実際の RLHF では、報酬だけを無制限に最大化すると、元のモデルから方策が大きく離れる可能性がある。そのため、参照方策 \(\pi_{\mathrm{ref}}\) からの乖離を KL ダイバージェンスで抑える項を加える形が使われる。入力 \(x\) の分布まで含めて概念的に書くと、次のようになる。

\[
\theta^*
=
\arg\max_\theta
\mathbb{E}_{x,y}
\left[
r_\phi(x,y)
\right]
–
\beta
\mathbb{E}_{x}
\left[
D_{\mathrm{KL}}
\left(
\pi_\theta(\cdot\mid x)
\Vert
\pi_{\mathrm{ref}}(\cdot\mid x)
\right)
\right]
\]

\(\beta\) は、報酬を追求する力と、参照方策から離れすぎることを抑える力の交換関係を調整する係数である。第 1 項が大きいほど人間から高い評価を受ける回答へ移動し、第 2 項が大きいほど元の方策からの変化が抑えられる。

この式で中心となる数値は \(r_\phi(x,y)\) である。報酬モデルが人間の選好を正確に近似しているなら、報酬を高めることで、人間がより好む回答を生成する確率も高くなる。一方、この構造だけから \(r_\phi(x,y)=0.9\) を「その回答が 90% の確率で客観的に正しい」と解釈することはできない。報酬値は人間の選好を学習するための尺度であり、正解事象の条件付き確率として定義された量ではないからである。

1.2 RLCD の公開目的は判断確率へ意味を持たせることにある

TypeSafe が RLCD について公開している中心語は calibrated decisions である[1]。Jev は、判断候補とともに probability や confidence を返すため、この公開目的を確率予測の問題へ接続して考えることができる。

入力を確率変数 \(X\)、判断対象を \(Y\)、候補 \(k\) に対してモデルが返す確率を \(q_\theta(k\mid x)\) とする。モデルが真の条件付き分布そのものを推定できる理想状態を置けば、次の関係になる。

\[
q_\theta(k\mid x)
=
P(Y=k\mid X=x)
\]

たとえば、ある問い合わせ \(x\) が請求部門へ属する真の条件付き確率が 0.8 なら、モデルも 0.8 を返す状態である。この条件がすべての入力について成立すれば、その確率値をそのまま期待損失計算や条件分岐へ利用できる。

ただし、この式は確率較正そのものより強い条件である。モデルが真の条件付き確率を完全に推定できれば較正も成立するが、較正されているモデルが必ず各入力について真の条件付き確率を推定しているとは限らない。確率較正として直接観測できる性質は、二値問題なら次の形で表される。

\[
P
\left(
Y=1
\mid
q_\theta(1\mid X)=p
\right)
=
p
\]

この式では、モデルが 0.8 と予測した事例を集めたとき、その集合の約 80% で実際に \(Y=1\) になることを求める。個々の入力について完全な真の確率分布を復元することより弱い条件だが、0.8 という数値へ実測頻度としての意味を与えられる。

この区別は RLCD を数理的に扱ううえで重要になる。TypeSafe は RLCD を calibrated decisions のための学習方法と説明しているが、どの較正条件を直接最適化しているか、どの損失関数を使っているか、条件付き確率そのものの推定を学習目標にしているかまでは公開していない[1]。そのため、\(q_\theta(k\mid x)\approx P(Y=k\mid X=x)\) は RLCD の実装式としてではなく、較正された判断が最終的に接近し得る確率予測モデルとして扱うのが適切である。

1.3 両者では 0.9 という数値が担う役割が異なる

RLHF と RLCD の差を最も直接的に見るには、モデルが出す 0.9 という数値の意味を比較するとよい。RLHF の報酬モデルがある回答に高い値を与えた場合、その値は「人間の比較評価に照らして高い報酬を受ける」という性質を表す。生成方策内部の確率が 0.9 であった場合も、それは特定のトークンや系列を生成する確率である。どちらも、そのまま「この判断は 90% 正しい」という意味にはならない。

較正された確率予測では、0.9 には別の条件が要求される。0.9 と予測された事例群について実際の正解率も約 90% になるなら、その数値を頻度として解釈できる。

\[
q_\theta=0.9
\quad\Longrightarrow\quad
P(\mathrm{correct}\mid q_\theta=0.9)\approx0.9
\]

この対応が成立すると、0.9 という値は表示用の confidence にとどまらず、後段のプログラムが使える判断材料になる。たとえば 0.99 以上なら自動処理、0.8 以上なら人間レビュー、それ未満なら通常処理という分岐を設ける場合、閾値の意味はモデルが返す確率の較正に依存する。0.8 と出した事例が実際には 50% しか正しくないなら、0.8 を前提に設計した条件分岐の損失計算も崩れる。

TypeSafe が Jev を smart if-statements や AI-powered workflows の構成要素として説明している背景には、この関係がある[1]。自由文を生成して後から解析する方式では、構文の検証に加えて、生成内容をどの程度信用するかという別の判断が必要になる。型付きの判断候補と確率を直接返す方式では、モデルが担当する確率推定と、プログラム側が担当する閾値、損失、権限境界を分離できる。

観点	RLHF	RLCD の公開目的を確率論で形式化した場合
学習上の中心	人間の比較判断から報酬モデルを構成し、その期待報酬を高める方向へ方策を更新する。	TypeSafe は calibrated decisions を学習目標として掲げており、判断とともに確率と confidence を返す。
代表的な数理対象	人間選好を近似する \(r_\phi(x,y)\) と、生成方策 \(\pi_\theta(y\mid x)\) を扱う。	公開目的の形式化では、判断候補への確率 \(q_\theta(k\mid x)\) と実際の結果 \(Y\) の対応を扱う。
0.9 の意味	報酬値や生成確率が 0.9 でも、正解率 90% という意味は定義から導かれない。	理想的な較正では、0.9 と予測した事例群の実測正解率が約 90% になる。
真の条件付き確率との関係	人間選好の報酬を直接 \(P(Y\mid X)\) として推定する目的ではない。	\(q_\theta(k\mid x)=P(Y=k\mid X=x)\) は較正より強い理想条件であり、公開済み RLCD の内部式を意味しない。
後段処理	生成された文字列を人間または別の処理系が解釈して利用する構成を取りやすい。	型付きの確率的判断を、通常の条件分岐、閾値判定、期待損失計算へ直接接続できる。
公開されている技術範囲	代表的な報酬モデル学習、KL 制約、方策最適化の方法は既存研究で数理的に公開されている。	TypeSafe は目的、API、評価結果を公開している一方、具体的な報酬関数、損失関数、較正方法、方策最適化アルゴリズムは現時点で公開していない。

この比較で焦点となるのは、RLHF と RLCD の優劣ではなく、最適化したい対象の違いである。RLHF は、人間による評価を学習可能な報酬へ変換し、その報酬を使って生成方策を調整する。一方、TypeSafe が RLCD に与えた役割は、判断結果と不確実性をソフトウェアが直接利用できる形へ変換することである。その目的を数理的に理解するには、次に「生成確率」と「正解確率」を分離し、さらに確率較正がどの条件を要求するのかを調べる必要がある。

2. 生成確率と正解確率は異なる確率である

LLM が出力する確率を判断の確信度として利用するには、まず「その文章を生成する確率」と「その回答が正しい確率」を分離する必要がある。自己回帰型の言語モデルが直接計算しているのは前者であり、入力に続くトークン列がどの程度もっともらしいかを表す。後者は、生成された回答を外部の正解基準と照合したとき、その内容が正しい確率である。両者は同じ回答を対象にしていても、確率変数として異なる。

2.1 自己回帰モデルが直接与えるのは文字列の生成確率である

入力を \(x\)、生成される回答を \(y=(y_1,\ldots,y_T)\) とする。自己回帰型の言語モデルでは、回答全体の生成確率は、各時点で次のトークンを生成する条件付き確率の積として表される。

\[
\pi_\theta(y\mid x)
=
\prod_{t=1}^{T}
\pi_\theta
\left(
y_t
\mid
x,y_{<t}
\right)
\]

\(\theta\) はモデルのパラメーター、\(y_t\) は \(t\) 番目のトークン、\(y_{<t}=(y_1,\ldots,y_{t-1})\) はそれ以前に生成されたトークン列である。右辺の各項は、「入力 \(x\) と、それまでに生成されたトークン列が与えられたとき、次に \(y_t\) を生成する確率」を表す。その積として得られる \(\pi_\theta(y\mid x)\) は、入力 \(x\) に続いて特定の文字列 \(y\) が生成される確率になる。

この式には、回答内容が現実世界で正しいかどうかを判定する項は含まれていない。学習された言語分布の下で、そのトークン列がどの程度生成されやすいかを計算している。既稿では、次トークン予測という学習目標と、その予測を実現するためにモデル内部で形成される計算を分けて考える必要性を整理した[3]。ここではさらに、次トークン予測から得られる確率と、生成された命題の正しさも分離する。

2.2 正しさを表すには別の確率変数が必要になる

生成された回答の正しさを扱うため、回答が正しいとき \(Z=1\)、誤っているとき \(Z=0\) となる確率変数 \(Z\) を導入する。入力 \(x\) に対して回答 \(y\) が生成されたとき、判断に必要な量は次の条件付き確率になる。

\[
P(Z=1\mid X=x,Y=y)
\]

この確率が表すのは、「入力 \(x\) に対して回答 \(y\) が与えられたという条件の下で、その回答が正しい確率」である。一方、\(\pi_\theta(y\mid x)\) が表すのは、「入力 \(x\) の下で、その文字列 \(y\) をモデルが生成する確率」である。前者では正解事象 \(Z\) を評価し、後者では文字列 \(Y\) の生成を評価している。

確率	意味	確率を左右する主な要因
\(\pi_\theta(y\mid x)\)	入力 \(x\) に続いて文字列 \(y\) を生成する確率を表す。	学習した言語分布、語順、表現、トークン列、文脈によって変化する。
\(P(Z=1\mid X=x,Y=y)\)	入力 \(x\) に対する回答 \(y\) が正しい確率を表す。	回答の意味内容と、事実、計算結果、仕様、正解ラベルなどの外部基準との対応によって決まる。

二つの確率が異なる理由は、文字列と意味内容が一対一に対応していないことからも分かる。たとえば、ある問いへの正解を「東京」と答える場合と「東京都です」と答える場合では、生成されるトークン列が異なるため、それぞれの \(\pi_\theta(y\mid x)\) も一般には異なる。しかし正解判定では、両方を同じ正しい回答として扱える。逆に、学習データ中で頻繁に現れ、言語として生成しやすい回答であっても、その問いに対する事実関係が誤っていれば \(Z=0\) になる。

この構造をもう一段分解すると、生成確率は文字列単位で分散することが分かる。ある問い \(x\) に対して、意味的に正しい回答となる文字列の集合を \(\mathcal{C}(x)\) とすれば、モデルが正しい表現へ割り当てている生成確率の総量は、形式的には次のように書ける。

\[
\sum_{y\in\mathcal{C}(x)}
\pi_\theta(y\mid x)
\]

一つの正しい命題を多数の言い回しで表現できれば、その確率質量も複数の文字列へ分散する。特定の文字列 \(y\) の生成確率が低いという理由だけで、その内容の正しさが低いとは判断できない。同様に、ある誤った回答へ高い生成確率が集中していれば、高い尤度と高い正答率が同時には成立しない。

2.3 モデル自身の確率を判断確率として使うには較正が必要になる

生成確率と正解確率が別の量である以上、モデル内部の確率を業務上の confidence として利用するには、両者の対応を実測する工程が必要になる。たとえばモデルがある回答について 0.8 の confidence を出すとしても、0.8 と評価された回答群の実際の正答率が 80% 前後になることを確認して初めて、その数値を「正しさの確率」として利用できる。

言語モデルの質問応答におけるこの問題を調べた Jiang らは、T5、BART、GPT-2 を用いて、モデルが回答へ割り当てる確率と実際の正解率との対応を評価した。その結果、元のモデルの確率は質問応答において十分に較正されておらず、fine-tuning、事後的な確率変換、出力や入力の調整によって、confidence と正解率の対応を改善できることを示している[4]。

この結果は、生成型言語モデルでも確率較正を評価し、改善できることを示している。同時に、自己回帰モデルが計算した生成確率から正解確率が自動的に得られるわけではなく、正解事象との対応を別途学習または検証する必要があることも示している。

この区別は RLHF と RLCD の比較へ直接つながる。RLHF の生成方策 \(\pi_\theta(y\mid x)\) は、どの回答を生成するかを決める確率分布である。TypeSafe が RLCD で前面に出しているのは、判断結果とともにソフトウェアへ渡せる calibrated probability である。後者に求められるのは、値が高いほどもっともらしい文章を生成できることより、0.8 や 0.9 という数値が実際の正解頻度とどのように対応するかである。この対応を数理的に定義するのが、次に扱う確率較正である。

3. RLHF は人間の比較を潜在的な報酬へ変換する

RLHF の中心にあるのは、人間が二つの出力を比較し、どちらを好むかを示したデータである。入力 \(x\) に対して二つの回答 \(y^+\) と \(y^-\) があり、人間が \(y^+\) を選んだとする。この観測結果を

\[
y^+ \succ y^-
\]

と書く。この時点で得られている情報は、二つの回答の順序関係である。「\(y^+\) の品質は 0.83 である」といった絶対的な数値を人間が直接与えているわけではない。RLHF では、この比較データを説明できるように、各回答へ実数値のスコアを割り当てる報酬モデル \(r_\phi(x,y)\) を学習する。

3.1 Bradley–Terry モデルは比較結果を報酬差へ写像する

二つの回答の比較を確率モデルとして記述する代表的な方法が Bradley–Terry モデルである[5]。回答 \(y^+\) が \(y^-\) より選ばれる確率を、両者の報酬差によって次のように表す。

\[
P(y^+\succ y^-\mid x)
=
\sigma
\left(
r_\phi(x,y^+)
–
r_\phi(x,y^-)
\right)
\]

ここで \(\sigma(z)=1/(1+e^{-z})\) はシグモイド関数である。報酬差が 0 なら選択確率は 0.5 となり、二つの回答はモデル上同程度に好まれる。\(r_\phi(x,y^+)-r_\phi(x,y^-)\) が正方向へ大きくなるほど \(y^+\) の選択確率は 1 に近づき、負方向へ大きくなるほど 0 に近づく。

この関係は対数オッズで書くと、報酬値の役割がさらに明確になる。

\[
\log
\frac{
P(y^+\succ y^-\mid x)
}{
1-P(y^+\succ y^-\mid x)
}
=
r_\phi(x,y^+)
–
r_\phi(x,y^-)
\]

つまり Bradley–Terry 型の報酬モデルでは、二つの回答の報酬差が、人間が一方を選ぶ確率の対数オッズに対応する。学習で直接意味を持つのは個々の報酬値の絶対量より、比較する二つの回答の差である。

この性質は、すべての回答へ同じ定数 \(c\) を加えても確認できる。

\[
\left(
r_\phi(x,y^+)+c
\right)
–
\left(
r_\phi(x,y^-)+c
\right)
=
r_\phi(x,y^+)
–
r_\phi(x,y^-)
\]

比較確率は変化しない。このため、たとえば報酬値が 0.9 だから「90% 正しい」、9.0 だから「非常に正しい」と解釈することは Bradley–Terry モデルの定義からは導けない。報酬モデルが学習しているのは、回答間の相対的な選好関係である。

3.2 報酬モデルは観測された比較を説明するように学習する

人間が実際に \(y^+\) を選んだ比較データが与えられた場合、その観測結果へ高い確率を割り当てるように報酬モデルを学習できる。典型的には、次の負の対数尤度を最小化する。

\[
\mathcal{L}_{\mathrm{RM}}
=
–
\mathbb{E}_{(x,y^+,y^-)}
\left[
\log
\sigma
\left(
r_\phi(x,y^+)
–
r_\phi(x,y^-)
\right)
\right]
\]

期待値は、人間による比較データ \((x,y^+,y^-)\) の分布について取る。人間が \(y^+\) を選んだにもかかわらず、報酬モデルが \(r_\phi(x,y^+)<r_\phi(x,y^-)\) と評価すると、シグモイドの値は 0.5 より小さくなり、損失が大きくなる。反対に、好まれた回答へ十分に高い報酬を与えると観測結果の尤度が上がり、損失は小さくなる。

学習の因果関係は二段階に分かれる。第一段階では、人間の比較結果から報酬モデルを学習する。

\[
\{y^+\succ y^-\}
\longrightarrow
r_\phi(x,y)
\]

第二段階では、その報酬モデルを強化学習の報酬として使い、生成方策を更新する。

\[
r_\phi(x,y)
\longrightarrow
\pi_\theta(y\mid x)
\]

全体としては、次の流れになる。

\[
\text{human comparisons}
\longrightarrow
r_\phi(x,y)
\longrightarrow
\pi_\theta(y\mid x)
\]

最終的な生成モデルが直接最適化しているのは、人間一人ひとりの比較結果そのものではなく、多数の比較結果から学習された報酬モデルである。この中間層を置くことで、人間がすべての生成結果を逐次評価しなくても、新しい回答へ報酬を推定しながら方策を更新できる。

段階	入力	学習する量	数値の意味
人間比較	同じ入力に対する複数の回答を人間が比較する。	\(y^+\succ y^-\) という順序データを得る。	どちらの回答が選ばれたかを表し、絶対的な品質値は直接与えない。
報酬モデル学習	人間比較データを使う。	\(r_\phi(x,y)\) を学習する。	報酬差が回答間の選択確率の対数オッズに対応する。
方策最適化	報酬モデルが新しい回答へ与えるスコアを使う。	\(\pi_\theta(y\mid x)\) を更新する。	高い報酬を得る回答を生成する確率を高める。

3.3 RLHF は比較学習から言語モデルの方策最適化へ発展した

人間の比較から報酬を学習し、その報酬を使って強化学習を行う構成は、Christiano らが 2017 年に、Atari やロボット制御などの強化学習環境で示した[6]。人間は長い軌跡全体へ報酬値を直接設計する代わりに、二つの軌跡断片を比較する。モデルはその比較から報酬関数を推定し、その報酬を使ってエージェントを訓練する。

Ziegler らは、この方法を自然言語生成へ拡張した[7]。文章の感情や物理的記述、要約といった課題について、人間による出力比較から報酬を学習し、その報酬を用いて言語モデルを fine-tuning した。この研究では、人間評価そのものが評価者のヒューリスティックに依存する可能性も観測されており、報酬モデルが「本来欲しい品質」より「評価者が選びやすい特徴」を学ぶ可能性を早い段階から示している。

Stiennon らは要約課題で、人間が二つの要約を比較したデータから報酬モデルを訓練し、その報酬を強化学習の目的として要約方策を最適化した[8]。ROUGE のような自動評価値を直接最大化する代わりに、人間がどちらの要約を好むかを学習可能な報酬へ変換した点に特徴がある。

InstructGPT では、この流れが汎用的な指示追従へ拡張された。まずラベラーが作成した模範回答による教師あり学習を行い、次に複数のモデル出力をラベラーが順位付けする。そのランキングから報酬モデルを学習し、最後に PPO を用いて、その報酬が高くなるよう生成方策を更新する[9]。ここでも、人間のランキングと強化学習の間を報酬モデルが接続している。

3.4 RLHF の報酬は人間選好を圧縮した代理変数である

この数理構造から、RLHF における報酬 \(r_\phi(x,y)\) の位置付けを整理できる。人間が直接提供している観測値は回答間の比較であり、報酬はその比較データを説明するためにモデル内部で構成された実数値である。報酬モデルは、多数の比較に共通する選好構造を一つのスカラーへ圧縮し、新しい回答についても人間がどちらを選びやすいかを推定する。

そのため、

\[
r_\phi(x,y_1)
>
r_\phi(x,y_2)
\]

という関係から直接読み取れるのは、報酬モデル上で \(y_1\) が \(y_2\) より人間に選ばれやすいと推定されていることである。一方、

\[
P(Z=1\mid X=x,Y=y_1)
>
P(Z=1\mid X=x,Y=y_2)
\]

という客観的な正解確率の順位まで同じになるためには、人間の比較判断が正しさを十分に反映し、報酬モデルもその判断を適切に一般化しているという追加条件が必要になる。

RLHF は、人間が持つ評価基準を逐一形式的なルールへ書き下す代わりに、比較という比較的単純な観測から学習信号を構成できる。この性質によって、文章の有用性、読みやすさ、指示への適合など、単一の正解ラベルへ還元しにくい品質も最適化対象に含められる。同時に、比較によって観測された人間選好と、外部世界における客観的な正しさは別の変数として残る。次節では、この二つが一致しない場合に、代理報酬の最適化によって何が起きるかを数理的に分けて考える。

4. 人間から高く評価されることと客観的に正しいことを分ける

RLHF の報酬モデルは、人間の比較判断を学習可能なスカラー値へ変換する。この仕組みを客観的な正しさまで含めて考えるには、「本来改善したい量」「人間が観測して評価できる量」「報酬モデルが推定する量」を分離する必要がある。既稿では、学習用評価、人間評価、客観的な正しさを別の層として扱うことで、評価値だけが上昇する状況を整理した[10]。

4.1 本来目的から報酬モデルまでには二つの近似が入る

入力 \(x\) と回答 \(y\) に対して、本来改善したい量を \(u(x,y)\)、人間が利用可能な情報から与える評価を \(h(x,y)\)、その人間評価を近似する報酬モデルを \(r_\phi(x,y)\) と置く。概念的な関係は次のように表せる。

\[
u(x,y)
\longrightarrow
h(x,y)
\longrightarrow
r_\phi(x,y)
\]

この矢印は等号ではなく、目的に関する情報が二段階の近似を経て学習用の報酬へ変換されることを表す。第一段階では、本来目的 \(u\) を人間が限られた観測情報から評価する。第二段階では、その人間評価を有限個の比較データから報酬モデルが学習する。

二つの近似誤差を明示すると、この構造をより直接的に書ける。人間評価と本来目的との差を

\[
\delta_H(x,y)
=
h(x,y)-u(x,y)
\]

報酬モデルと人間評価との差を

\[
\delta_R(x,y)
=
r_\phi(x,y)-h(x,y)
\]

と定義する。このとき報酬モデルは、

\[
r_\phi(x,y)
=
u(x,y)
+
\delta_H(x,y)
+
\delta_R(x,y)
\]

と分解できる。\(\delta_H\) は人間評価に含まれるずれ、\(\delta_R\) は報酬モデルによる近似のずれである。RLHF の方策が直接観測する \(r_\phi\) には、本来目的 \(u\) だけでなく、この二種類の誤差も含まれている。

量	意味	ずれを生む要因
\(u(x,y)\)	最終的に改善したい品質や客観的な正しさを表す。	対象となる業務、事実、仕様、正解基準によって定義される。
\(h(x,y)\)	人間が観測可能な情報から形成する評価を表す。	評価時間、専門知識、利用可能な証拠、評価基準、回答の説得力などの影響を受ける。
\(r_\phi(x,y)\)	人間の比較データから学習した代理報酬を表す。	比較データの量と分布、報酬モデルの容量、一般化誤差などの影響を受ける。
\(\delta_H\)	人間評価と本来目的の差を表す。	正しい回答を誤って低く評価する場合や、説得的な誤答を高く評価する場合に増える。
\(\delta_R\)	報酬モデルと人間評価の差を表す。	有限の比較データから未知の回答へ評価を一般化するときに生じる。

人間が本来目的に必要な情報を十分に観測でき、評価基準も目的と一致し、報酬モデルがその評価を十分な精度で再現できる領域では、\(\delta_H\) と \(\delta_R\) は小さくなる。この条件では \(r_\phi\) を高めることが \(u\) の改善にもつながりやすい。逆に、どちらかの誤差が回答の特徴と系統的に相関すると、代理報酬を高める方向と本来目的を高める方向がずれる。

4.2 方策は本来目的ではなく代理報酬を直接最適化する

RLHF の方策最適化が直接見る対象は \(u\) ではなく、学習済みの \(r_\phi\) である。単純化すると、実際に選ばれる方策は次の形で表せる。

\[
\pi^*
=
\arg\max_\pi
\mathbb{E}_{y\sim\pi(\cdot\mid x)}
\left[
r_\phi(x,y)
\right]
\]

一方、本来目的だけを直接観測して最適化できる理想状態を置けば、求めたい方策は

\[
\pi^\dagger
=
\arg\max_\pi
\mathbb{E}_{y\sim\pi(\cdot\mid x)}
\left[
u(x,y)
\right]
\]

となる。両者が同じ方策になるためには、少なくとも最適化で探索される領域において、\(r_\phi\) が \(u\) の順位を十分に保存する必要がある。二つの回答 \(y_1\) と \(y_2\) に対して、

\[
u(x,y_1)
>
u(x,y_2)
\]

ならば、

\[
r_\phi(x,y_1)
>
r_\phi(x,y_2)
\]

も成立するという関係である。この順序が広い領域で維持されれば、代理報酬の最大化は本来目的の改善方向と一致する。

一方、ある領域で順位が反転し、

\[
u(x,y_1)
>
u(x,y_2)
\quad\text{かつ}\quad
r_\phi(x,y_1)
<
r_\phi(x,y_2)
\]

となれば、方策最適化は \(y_2\) の生成確率を高める方向へ働く。本来目的では \(y_1\) の方が優れていても、学習器が参照する代理報酬では \(y_2\) が高く評価されるからである。

4.3 最適化は代理報酬に含まれる誤差も利用する

報酬モデルの分解式を方策の期待値へ代入すると、代理報酬を最大化するときに何が起きるかを確認できる。

\[
\mathbb{E}_{y\sim\pi}
[r_\phi(x,y)]
=
\mathbb{E}_{y\sim\pi}
[u(x,y)]
+
\mathbb{E}_{y\sim\pi}
[\delta_H(x,y)]
+
\mathbb{E}_{y\sim\pi}
[\delta_R(x,y)]
\]

方策最適化は右辺全体を大きくする。最初の項だけを区別して最適化する仕組みは、この式には含まれていない。そのため、本来目的 \(u\) を高める方法に加えて、人間評価誤差 \(\delta_H\) や報酬モデル誤差 \(\delta_R\) が正方向へ大きくなる回答も、代理報酬を上昇させる候補になる。

この構造は、誤差が平均 0 であるだけでは十分でないことも示す。学習前の分布 \(D_0\) で

\[
\mathbb{E}_{D_0}
[\delta_H+\delta_R]
\approx
0
\]

だったとしても、方策最適化後の分布 \(D_\pi\) は同じ分布ではない。モデルは高い報酬を得られる回答を選択的に生成するため、誤差が正方向へ大きい領域にも確率質量を移せる。

\[
D_0
\longrightarrow
D_\pi
\]

この分布移動によって、

\[
\mathbb{E}_{D_\pi}
[\delta_H+\delta_R]
>
\mathbb{E}_{D_0}
[\delta_H+\delta_R]
\]

となれば、代理報酬の改善量の一部は本来目的の改善ではなく、評価系に存在する誤差を利用した結果になる。報酬モデルの近似誤差が小さく見える学習時分布でも、強い最適化によって別の領域へ移動すると、その誤差が意思決定を支配する可能性が生じる。

4.4 Reward model overoptimization は代理報酬と基準報酬の乖離として観測できる

Gao、Schulman、Hilton は、この現象を reward model overoptimization として定量的に調べた[11]。彼らの実験では、固定した gold-standard reward model から比較ラベルを生成し、そのラベルを使って別の proxy reward model を学習する。この構成により、人間から追加評価を大量に集める代わりに、「基準となる報酬」と「学習された代理報酬」の双方を観測できる。

代理報酬を \(r_{\mathrm{proxy}}\)、基準報酬を \(r_{\mathrm{gold}}\) とすれば、最適化初期には両者が同時に改善する領域が存在する。

\[
r_{\mathrm{proxy}}\uparrow
\quad\Longrightarrow\quad
r_{\mathrm{gold}}\uparrow
\]

しかし最適化をさらに強めると、代理報酬は上昇し続ける一方で、基準報酬が低下する領域が現れる。

\[
r_{\mathrm{proxy}}\uparrow
\quad\text{かつ}\quad
r_{\mathrm{gold}}\downarrow
\]

これは、代理報酬の最大化と本来目的の最大化が同じ最適化問題ではないことを実験的に可視化した例である。Gao らは、この関係が強化学習と best-of-\(n\) sampling の双方で現れ、最適化方法によって異なる関数形を取ることも報告している[11]。

数理的には、最適化の強さを \(\lambda\) とし、代理報酬と基準報酬をそれぞれ

\[
R_{\mathrm{proxy}}(\lambda)
=
\mathbb{E}_{\pi_\lambda}
[r_{\mathrm{proxy}}]
\]

\[
R_{\mathrm{gold}}(\lambda)
=
\mathbb{E}_{\pi_\lambda}
[r_{\mathrm{gold}}]
\]

と置けば、過剰最適化領域は、

\[
\frac{dR_{\mathrm{proxy}}}{d\lambda}
>
0
\quad\text{かつ}\quad
\frac{dR_{\mathrm{gold}}}{d\lambda}
<
0
\]

となる領域として概念的に表せる。最適化アルゴリズム自体は正しく代理目的を改善していても、その代理目的と本来目的の対応が崩れれば、最終成果は逆方向へ進み得る。

4.5 人間評価の段階でも客観的な正しさに関する情報は失われる

ここまでの議論では報酬モデル \(r_\phi\) と本来目的 \(u\) の差を中心に見てきたが、その一つ前の \(u\) から \(h\) への写像にも情報損失がある。人間は回答のすべての性質を直接観測して評価しているとは限らない。短時間の評価では、事実確認、計算の再実行、外部資料との照合、コードの実行などに使える時間が限られる。その状況では、正しさと相関する表面的な特徴も評価へ影響する。

Hosking、Blunsom、Bartolo は、人間による単一の preference score が複数の重要な誤りをどの程度反映するかを調べた[12]。その結果、preference score は多くの誤りをある程度捉える一方、factuality のような重要な側面を相対的に過小評価することを報告している。また、回答の assertiveness を変化させる実験では、断定的な表現が知覚される factuality error の割合へ影響した。

この現象を先ほどの誤差項で表せば、回答の表現上の特徴 \(s(y)\) が人間評価には影響する一方、本来の正しさには同じ意味を持たない状況として書ける。

\[
h(x,y)
=
u(x,y)
+
\alpha s(y)
+
\varepsilon
\]

\(\alpha s(y)\) は、断定性や説得力など、人間評価へ系統的に作用する要因を抽象化した項である。\(\varepsilon\) はその他の評価誤差を表す。もし \(\alpha>0\) なら、本来目的 \(u\) が同じ回答でも、\(s(y)\) の大きな回答ほど高く評価される。

報酬モデルがこの人間評価を正確に学習した場合、

\[
r_\phi(x,y)
\approx
u(x,y)
+
\alpha s(y)
\]

となる。ここでは報酬モデルが人間評価を忠実に再現するほど、人間評価に含まれる系統的なずれも忠実に再現する。報酬モデルの予測性能だけを改善しても、\(\delta_H\) に由来するずれは残る。

4.6 RLHF によって人間を説得する能力だけが改善する条件もある

Wen らは、この構造を質問応答とプログラミング課題で実験的に調べた[13]。時間制約のある人間評価者にモデル出力の正しさを判定させ、その評価を使った標準的な RLHF を行ったところ、モデルは評価者から正しいと判断されやすくなった一方、課題そのものの客観的な正答率は同じようには改善しなかった。

評価者の false positive rate、すなわち誤った回答を正しいと判断する割合は、質問応答の QuALITY で 24.1%、プログラミングの APPS で 18.3% 増加したと報告されている[13]。これは、

\[
h(x,y)\uparrow
\]

という改善と、

\[
u(x,y)\uparrow
\]

という改善が別々に変化し得ることを具体的に示している。

この結果を RLHF の学習経路へ戻すと、因果関係は明確になる。時間制約のある人間評価に一定の見落としが存在すると、その評価から学ぶ報酬モデルも「人間から正しいと判断される性質」を報酬へ取り込む。次に方策最適化がその報酬を増やすため、モデルは課題を正しく解く能力とともに、人間から正しいと認識されやすい回答を生成する能力も最適化する。両者の相関が崩れる領域では、後者だけが改善する経路が成立する。

4.7 RLHF の有効性と代理目的の限界は同じ数理構造から生じる

RLHF の利点は、人間が品質関数 \(u(x,y)\) を完全な数式として定義できない課題でも、比較判断を通じて学習信号を構成できる点にある。有用性、読みやすさ、指示への適合、会話としての自然さなど、多数の要素からなる評価を単一の手書きルールへ還元する代わりに、人間の選択から代理報酬を学習できる。

同じ構造が代理評価の限界も生む。RLHF が直接最適化するのは、

\[
u(x,y)
\]

そのものではなく、

\[
r_\phi(x,y)
=
u(x,y)
+
\delta_H(x,y)
+
\delta_R(x,y)
\]

である。人間評価が本来目的を十分に反映し、報酬モデルもその評価を適切に一般化する範囲では、代理報酬は有効な学習信号として働く。最適化が評価誤差やモデル誤差と相関する領域へ進むと、報酬の改善と本来目的の改善を個別に測定する必要が生じる。

この構造は、RLHF の報酬値へ「客観的に正しい確率」という意味をそのまま与えられない理由でもある。報酬は人間選好を予測するために構成された代理変数であり、正解事象の条件付き確率として較正された量とは目的が異なる。次節では、この差を踏まえて、確率の値そのものと実際の正解頻度を対応させる calibration を数理的に定義する。

5. Calibration は確率の数値と実際の頻度を対応させる

RLCD の公開説明を数理的に読むために必要になるのが calibration、確率較正である。確率較正が対象とするのは、分類結果そのものの正しさだけではなく、モデルが 0.8、0.9 といった数値を出したとき、その数値と実際に観測される頻度が対応しているかという性質である。

最も単純な二値問題を考える。真の状態を \(Y\in\{0,1\}\)、入力を \(X\)、モデルが \(Y=1\) である確率として返す値を \(q(X)\in[0,1]\) とする。理想的な較正条件は次のように書ける。

\[
P(Y=1\mid q(X)=p)=p
\]

この式は、モデルが確率 \(p\) を返した事例だけを集めたとき、その中で実際に \(Y=1\) となる割合も \(p\) になることを要求している。たとえば \(q(X)=0.8\) と予測された事例を多数集め、その約 80% で実際に \(Y=1\) が観測されるなら、0.8 という予測値はその集合について較正されている。

5.1 較正によって 0.8 という数値に観測可能な意味が生まれる

前節までで扱った RLHF の報酬値では、0.8 や 0.9 という絶対値そのものに「80% 正しい」「90% 正しい」という意味は与えられていなかった。確率較正では、この対応そのものを評価対象にする。

二値変数では \(Y\) が 0 または 1 を取るため、条件付き期待値を使って同じ条件を次のようにも表せる。

\[
\mathbb{E}
\left[
Y
\mid
q(X)
\right]
=
q(X)
\]

モデルが返した確率を知ったあとで見た実際の結果 \(Y\) の平均が、その予測確率と一致するという条件である。\(q(X)=0.8\) の集合では \(Y\) の平均が 0.8、\(q(X)=0.3\) の集合では平均が 0.3 になる。

予測確率	1000 件集めた場合の理想的な観測結果	解釈
0.1	約 100 件で \(Y=1\) が観測される。	モデルが 10% と予測した集合で、事象が実際にも約 10% 発生する。
0.5	約 500 件で \(Y=1\) が観測される。	モデルが半々と判断した集合では、実際の結果もおおむね半々になる。
0.8	約 800 件で \(Y=1\) が観測される。	0.8 という出力値を実測頻度 80% と対応付けて解釈できる。
0.95	約 950 件で \(Y=1\) が観測される。	高い confidence を高い実測正解率として扱うための基礎になる。

この対応が成立すれば、確率値を表示上の confidence にとどめず、後段の意思決定へ利用できる。たとえば 0.95 以上なら自動処理し、0.7 から 0.95 までは人間による確認へ回すという条件分岐を設計するとき、それぞれの閾値が実際の正解頻度と結び付く。

5.2 較正は個々の予測が真の条件付き確率と一致することより弱い条件である

前の節では、理想的な確率予測として次の関係を置いた。

\[
q(X)
=
P(Y=1\mid X)
\]

この条件が成立すれば、モデルは各入力 \(X\) に対して真の条件付き確率を返している。この状態からは確率較正も導かれる。

しかし逆方向は一般には成立しない。確率較正は、同じ予測値を持つ事例を集めた集合について実測頻度が一致することを要求する一方、個々の入力について真の条件付き確率を完全に推定することまでは要求しない。

極端な例として、データ全体で \(Y=1\) が 60% 発生する状況を考える。すべての入力について、

\[
q(X)=0.6
\]

と返すモデルでも、全体の実測発生率が 60% なら較正条件を満たし得る。しかし、このモデルは入力 \(X\) の違いを使って個々の事例を区別していない。

一方、入力ごとの真の条件付き確率が、

\[
P(Y=1\mid X=x_1)=0.1
\]

\[
P(Y=1\mid X=x_2)=0.9
\]

であるなら、両方へ 0.6 を返すモデルは個々の事例について真の確率を推定できていない。それでもデータ全体の構成によっては、集約した calibration だけを見ると整合している場合がある。

この区別により、

\[
q(X)=P(Y=1\mid X)
\]

は、

\[
P(Y=1\mid q(X)=p)=p
\]

より強い理想条件だと整理できる。RLCD の公開説明から直接確認できるのは calibrated decisions を目標としているところまでであり、TypeSafe が各入力について真の条件付き確率そのものを推定することをどのような目的関数で実現しているかは公開されていない。

5.3 実データでは完全に同じ確率値を集める代わりに確率帯で評価する

理論上の定義では \(q(X)=p\) という条件を置けるが、実際のモデルが連続値を返す場合、0.800000 のように完全に同一の値を持つ事例が十分な数だけ集まるとは限らない。そのため実証評価では、近い予測値を確率帯へまとめ、各区間について平均予測確率と実測頻度を比較する方法が使われる。

たとえば予測確率を、

\[
[0.0,0.1),
[0.1,0.2),
\ldots,
[0.9,1.0]
\]

という区間へ分割する。0.8 以上 0.9 未満の予測が入る集合を \(B\) とし、その集合での平均予測確率を

\[
\operatorname{conf}(B)
=
\frac{1}{|B|}
\sum_{i\in B}
q(x_i)
\]

実際に \(Y=1\) だった割合を

\[
\operatorname{acc}(B)
=
\frac{1}{|B|}
\sum_{i\in B}
y_i
\]

とすれば、較正されたモデルでは両者が近い値になる。

\[
\operatorname{conf}(B)
\approx
\operatorname{acc}(B)
\]

たとえばこの区間の平均予測確率が 0.84 で、実際の発生率も 0.83 なら、少なくともその確率帯では予測値と実測結果が近い。一方、平均予測確率が 0.84 なのに実測発生率が 0.55 なら、モデルはその領域で大きく過信している。

このような確率帯ごとの関係を図示したものが reliability diagram である。理想的な較正では、予測確率を横軸、実測頻度を縦軸に取った点が \(y=x\) の対角線付近に並ぶ。対角線より下に位置すれば予測確率が実測頻度より高く、過信する傾向を示す。対角線より上なら、実際の成功頻度に比べて確率を低く見積もっている。

5.4 確率予測の評価では calibration と sharpness を分ける

確率予測を評価する考え方には長い歴史がある。Brier は 1950 年、天気予報のように確率で表現された予測を、実際に観測された結果と比較して評価する方法を提示した[14]。後に Brier score と呼ばれるこの評価量は、予測値が実際の結果からどれだけ離れたかを測るものであり、確率値そのものを評価対象へ含める。

Gneiting、Balabdaoui、Raftery は、確率予測の品質について calibration と sharpness を区別し、「calibration を満たすという制約の下で sharpness を最大化する」という評価原理を提示している[15]。calibration は予測分布と実際の観測結果との統計的一貫性を表し、sharpness は予測分布がどの程度集中しているかを表す。

この二つを分ける理由は、先ほどの常に 0.6 を返すモデルから理解できる。事象の全体発生率が 60% なら、そのモデルは較正され得る。しかし、どの入力に対しても同じ値を返すため、0.1 や 0.9 のような入力固有の強い判断を一度も行わない。

一方、十分な根拠がある場面では 0.01 や 0.99 まで確率を動かし、そのうえで 0.99 と予測した集合が実際に約 99% 正しいモデルなら、較正を保ちながらより情報量の多い予測を返している。Gneiting らが sharpness を calibration とは別の性質として扱うのは、この差を評価するためである[15]。

性質	評価する対象	良い状態
Calibration	予測された確率と実際に観測された頻度との対応を見る。	0.8 と予測した集合で、実際にも約 80% の事象が発生する。
Sharpness	予測分布がどの程度明確に集中しているかを見る。	根拠がある事例では、0.5 付近へ留まり続けず、0 や 1 に近い情報量の高い予測を返す。
Accuracy	最終的な分類結果が正解した割合を見る。	選択したクラスが実際の正解と高い割合で一致する。

この三つは同じ評価量ではない。高い accuracy を持つモデルでも confidence が過大なら calibration は悪化する。逆に、常に基礎発生率だけを返すモデルは calibration を満たし得るが、入力ごとの識別能力は低い。確率的判断をソフトウェアへ組み込む場合、どの性質を保証したいのかを分けて評価する必要がある。

5.5 多クラス問題でも各クラスについて較正を定義できる

判断候補が二つを超える場合、真の状態を \(Y\in\{1,\ldots,K\}\) とし、モデルが各クラスへ返す確率を

\[
q_1(X),q_2(X),\ldots,q_K(X)
\]

とする。通常は、

\[
\sum_{k=1}^{K}q_k(X)=1
\]

を満たす確率分布として扱う。

クラス \(k\) について二値問題と同じ考え方を適用すると、classwise calibration は次のように書ける。

\[
P(Y=k\mid q_k(X)=p)=p
\]

たとえば請求、技術、営業という 3 クラスを持つ分類で、請求クラスへ 0.8 を与えた事例だけを集めたとき、その約 80% が実際にも請求クラスなら、請求クラスについてその確率帯は較正されている。

多クラスでは、最大確率だけを使って「選択したクラスが正しい確率」を較正する方法と、各クラスの確率を個別に評価する方法は別の条件になる。Jev の Choice が候補ごとの probabilities と、それとは別に confidence を返していることを考えると、この区別は特に重要になる[1]。TypeSafe が公開している資料からは、Jev の confidence がこれらのどの calibration 定義へ厳密に対応するかまでは確認できない。

5.6 高い分類精度から正しい confidence は自動的には得られない

深層ニューラルネットワークでは、分類精度が高くても confidence が実際の正解率と対応しない場合がある。Guo らは画像分類と文書分類のモデルを調べ、現代的なニューラルネットワークが高い分類性能を持ちながら poorly calibrated になる場合を報告した[16]。

分類器が各クラスについて logit \(z_k\) を出している場合、softmax による確率は、

\[
q_k
=
\frac{\exp(z_k)}
{\sum_j \exp(z_j)}
\]

で得られる。Guo らが評価した temperature scaling では、学習済みモデルの logit を温度 \(T>0\) で割り、

\[
q_k^{(T)}
=
\frac{\exp(z_k/T)}
{\sum_j\exp(z_j/T)}
\]

として確率を再計算する[16]。\(T\) は検証データ上で調整する単一のパラメーターであり、元のクラス順位を維持したまま確率分布の集中度を変えられる。

この例は、分類結果と確率値が別々に調整可能な性質であることを示す。最大 logit のクラス自体を変えずに confidence の値を修正できるため、accuracy をほぼ維持したまま calibration を改善できる場合がある。

5.7 Jev の confidence を評価するには数値と実測正解率の対応を見る必要がある

TypeSafe は Jev について、すべての出力に calibrated probabilities と confidence scores が付随し、confidence が高いほど accuracy も高くなると説明している[1]。この主張を確率較正の文脈で読む場合、注目すべき対象は confidence というフィールドの存在そのものではなく、その数値と実際の正解率との対応である。

たとえば confidence 0.9 の判断を多数集めたとき、その約 90% が正しいという関係まで成立するなら、

\[
P(\mathrm{correct}\mid C=0.9)
\approx
0.9
\]

という強い意味で confidence を確率として解釈できる。一方、「confidence が高い群ほど accuracy も高い」という単調な順位関係だけなら、

\[
c_1<c_2
\quad\Longrightarrow\quad
P(\mathrm{correct}\mid C=c_1)
<
P(\mathrm{correct}\mid C=c_2)
\]

という性質までは示せても、confidence 0.9 が正解率 90% に対応することまでは導けない。順位の整合性と確率較正は異なる条件である。

2026 年 9 月 18 日時点で、TypeSafe は RLCD が calibrated decisions を最適化すると説明しているが、どの calibration 定義を採用し、probability と confidence をどの損失関数で学習し、どの指標で較正誤差を評価しているかという技術詳細は公開していない[1]。そのため、Jev の公開説明を既存理論へ接続するときは、「高い confidence と高い accuracy が対応する」という公開済みの性質と、「confidence の数値そのものが実測正解率に一致する」という厳密な確率較正を区別して扱う必要がある。

確率値へ実測頻度としての意味を持たせるには、正解率だけを見るより強い評価が必要になる。次節では、その確率をどのような損失関数で学習すれば、真の分布を正直に申告することが最適になるのかを proper scoring rule の数理から確認する。

6. Proper scoring rule は確率を正直に申告する動機を作る

確率予測では、正解したかどうかだけを評価しても、0.6 と 0.9 のどちらが適切な確率だったかを判定できない。たとえば二つのモデルが同じクラスを選択し、どちらも正解したとしても、一方が 0.6、もう一方が 0.99 を出していれば、不確実性の表現には大きな差がある。この確率値そのものを評価するために使われる考え方の一つが proper scoring rule である。

Gneiting と Raftery は、予測者が真の確率分布を申告したときに期待スコアが最適になる scoring rule を proper、その最適解が真の分布に限られるものを strictly proper と定義している[17]。文献によってスコアを最大化する流儀と損失を最小化する流儀があるが、本稿では機械学習で一般的な損失最小化の記法を使う。

6.1 Strictly proper では真の分布が期待損失の一意な最小点になる

多クラス分類を考える。入力 \(x\) が与えられたとき、真の条件付き確率分布を

\[
p_k
=
P(Y=k\mid X=x)
\]

モデルが申告する予測分布を

\[
q_k
=
q_\theta(Y=k\mid X=x)
\]

とする。クラス数を \(K\) とすれば、どちらも

\[
\sum_{k=1}^{K}p_k
=
\sum_{k=1}^{K}q_k
=
1
\]

を満たす。

実際にクラス \(Y=y\) が観測されたとき、予測分布 \(q\) に損失 \(\mathcal{L}(q,y)\) を与えるとする。真の分布が \(p\) であるときの期待損失は、

\[
R_p(q)
=
\mathbb{E}_{Y\sim p}
\left[
\mathcal{L}(q,Y)
\right]
=
\sum_{k=1}^{K}
p_k\mathcal{L}(q,k)
\]

となる。損失形式で書いた proper scoring rule は、すべての \(q\) について

\[
R_p(p)
\le
R_p(q)
\]

を満たす。つまり真の分布 \(p\) をそのまま予測したとき、期待損失が少なくとも他の申告より悪くならない。strictly proper では、さらに

\[
R_p(p)
=
R_p(q)
\quad\Longrightarrow\quad
q=p
\]

が成立する。真の分布を申告することが一意な最適解になる。

種類	期待損失に要求される条件	意味
Proper	\(R_p(p)\le R_p(q)\) がすべての \(q\) について成立する。	真の分布を申告することで期待損失を最小にできる。
Strictly proper	\(R_p(p)=R_p(q)\) となるのが \(q=p\) の場合に限られる。	真の分布が期待損失の一意な最適解になる。

この性質が「正直な確率申告」という表現の数理的な意味になる。モデルが内部的に 70% と評価すべき事象について、90% と過信したり 50% と過小評価したりするより、70% をそのまま出す方が期待損失を小さくできるように評価関数を設計する。

6.2 対数損失では真の分布からのずれが KL ダイバージェンスとして現れる

代表的な strictly proper scoring rule の一つが対数スコアである[17]。損失として書けば、実際に観測されたクラスが \(y\) のとき、

\[
\mathcal{L}_{\log}(q,y)
=
-\log q_y
\]

となる。実際に起きた事象へ高い確率を与えるほど損失は小さくなり、低い確率しか与えていなければ大きな損失を受ける。特に \(q_y\) が 0 に近づくと \(-\log q_y\) は急速に大きくなるため、起こり得る事象へ極端に低い確率を割り当てる過信には大きなペナルティーが与えられる。

真の分布 \(p\) の下で期待値を取ると、

\[
R_p(q)
=
\mathbb{E}_{Y\sim p}
\left[
\mathcal{L}_{\log}(q,Y)
\right]
=
-\sum_{k=1}^{K}
p_k\log q_k
\]

となる。この量は、真の分布 \(p\) のエントロピー

\[
H(p)
=
-\sum_{k=1}^{K}
p_k\log p_k
\]

と、\(p\) から \(q\) への KL ダイバージェンス

\[
D_{\mathrm{KL}}(p\Vert q)
=
\sum_{k=1}^{K}
p_k
\log
\frac{p_k}{q_k}
\]

を使って、

\[
-\sum_k p_k\log q_k
=
H(p)
+
D_{\mathrm{KL}}(p\Vert q)
\]

と分解できる。

\(H(p)\) は真の分布だけで決まり、モデルが申告する \(q\) には依存しない。一方、KL ダイバージェンスは常に

\[
D_{\mathrm{KL}}(p\Vert q)
\ge
0
\]

であり、

\[
D_{\mathrm{KL}}(p\Vert q)=0
\]

となるのは \(p=q\) の場合である。したがって、期待対数損失は

\[
q=p
\]

で一意に最小になる。

この分解では、真の分布から外れた確率を申告したことによる追加損失が、そのまま \(D_{\mathrm{KL}}(p\Vert q)\) として現れる。

\[
R_p(q)-R_p(p)
=
D_{\mathrm{KL}}(p\Vert q)
\]

真の確率分布を予測した場合の損失を基準にすると、それ以外の分布を申告したことによる余分な損失を明示できる。

6.3 真の確率が 0.7 なら 0.7 を申告する方が期待対数損失は小さい

二値事象で具体的に確認する。事象 \(Y=1\) の真の確率を

\[
p=0.7
\]

とする。モデルが \(Y=1\) の確率として \(q\) を申告した場合、期待対数損失は

\[
R_{0.7}(q)
=
-0.7\log q
–
0.3\log(1-q)
\]

になる。

真の確率と同じ \(q=0.7\) を申告すると、

\[
R_{0.7}(0.7)
\approx
0.611
\]

である。五分五分の \(q=0.5\) と申告すると、

\[
R_{0.7}(0.5)
\approx
0.693
\]

となり、期待損失は大きくなる。さらに 90% と過信して \(q=0.9\) と申告すると、

\[
R_{0.7}(0.9)
\approx
0.765
\]

まで増える。

申告確率 \(q\)	真の確率 \(p\)	期待対数損失	状態
0.5	0.7	約 0.693	真の確率を過小評価している。
0.7	0.7	約 0.611	期待損失が最小になる。
0.9	0.7	約 0.765	真の確率を過大評価している。

この例では正解クラスだけを当てるなら、0.7 も 0.9 も同じ \(Y=1\) を選択する。しかし確率予測として評価すると両者は同じではない。真の発生確率が 70% である以上、90% と断定するモデルには、その過信に応じた追加損失が発生する。

6.4 Brier score では真の分布からの二乗距離が追加損失になる

別の代表的な strictly proper scoring rule が Brier score である。多クラス分類で、観測されたクラスを one-hot ベクトルとして表すと、損失は

\[
\mathcal{L}_{\mathrm{Brier}}(q,Y)
=
\sum_{k=1}^{K}
\left(
q_k-\mathbf{1}[Y=k]
\right)^2
\]

となる。\(\mathbf{1}[Y=k]\) は、実際のクラスが \(k\) なら 1、それ以外なら 0 を取る指示関数である。

真の分布 \(p\) の下で期待値を取ると、

\[
R_p(q)
=
\mathbb{E}_{Y\sim p}
\left[
\mathcal{L}_{\mathrm{Brier}}(q,Y)
\right]
\]

は、

\[
R_p(q)
=
\sum_{k=1}^{K}
(q_k-p_k)^2
+
1
–
\sum_{k=1}^{K}
p_k^2
\]

と分解できる。第 2 項

\[
1-\sum_k p_k^2
\]

は真の分布 \(p\) だけで決まり、モデルの予測 \(q\) には依存しない。\(q\) によって変化するのは、

\[
\sum_k(q_k-p_k)^2
\]

という真の分布との二乗距離だけである。そのため、期待 Brier score も

\[
q=p
\]

で一意に最小になる。

真の分布を申告したときとの差を取ると、

\[
R_p(q)-R_p(p)
=
\sum_{k=1}^{K}
(q_k-p_k)^2
\]

となる。対数損失では真の分布からのずれが KL ダイバージェンスとして現れ、Brier score では二乗距離として現れる。形式は異なるが、どちらも真の分布から離れた確率申告へ追加損失を与える。

6.5 正解したかだけを見る損失では確率を正直に申告する理由が生まれない

proper scoring rule の役割は、0.7 と 0.9 の違いを学習信号へ反映できる点にある。対照的に、最終的な分類結果だけを見る 0-1 loss を考える。

\[
\mathcal{L}_{0/1}
=
\mathbf{1}
[
\arg\max_k q_k
\ne
Y
]
\]

この損失では、最も確率の高いクラスが同じなら、

\[
q=(0.51,0.49)
\]

と

\[
q=(0.99,0.01)
\]

は同じ予測クラスを返す。正解した場合はどちらも損失 0、誤った場合はどちらも損失 1 になる。予測確率の過信や過小評価は直接評価されない。

確率を後段の意思決定に使う場合、この違いは大きい。0.51 と 0.99 を同じ判断として扱う分類損失だけでは、「人間レビューへ送るか」「自動処理するか」といった確率閾値を信頼できる形で学習させる情報が不足する。proper scoring rule は、クラス選択だけでなく分布全体を評価することで、確率値そのものを学習対象へ含める。

評価方法	評価する対象	0.7 と 0.9 の違い	真の確率を申告する誘因
0-1 loss	最終的な予測クラスが正解したかを評価する。	同じクラスを選ぶ限り区別しない。	確率値そのものについては与えない。
Log loss	実際に起きた事象へ割り当てた確率を評価する。	真の確率からのずれを KL ダイバージェンスとして評価する。	真の分布で期待損失が一意に最小になる。
Brier score	予測分布と観測結果の二乗誤差を評価する。	真の確率からのずれを二乗距離として評価する。	真の分布で期待損失が一意に最小になる。

6.6 Strictly proper であることと実際に較正されることは同じ条件ではない

ここまでの数式には、一つ重要な適用条件がある。strictly proper scoring rule が保証するのは、真の分布 \(p\) が与えられ、その期待損失を正確に最小化できる理想条件の下で、\(q=p\) が最適解になるという性質である。

実際の機械学習では、有限個の訓練データから期待損失を推定し、有限のモデル容量と最適化アルゴリズムを使ってパラメーターを学習する。そのため、

\[
\mathcal{L}
\text{ が strictly proper}
\]

という性質だけから、学習済みモデルが未知データ上で完全に較正されることまでは導けない。

概念的には、理想条件では

\[
q^*
=
\arg\min_q
\mathbb{E}_{Y\sim p}
[\mathcal{L}(q,Y)]
=
p
\]

となる。一方、実際の学習ではモデル族を \(q_\theta\) に制限し、有限データ \(\{(x_i,y_i)\}_{i=1}^{n}\) に対して、

\[
\hat{\theta}
=
\arg\min_\theta
\frac{1}{n}
\sum_{i=1}^{n}
\mathcal{L}
\left(
q_\theta(\cdot\mid x_i),
y_i
\right)
\]

を解く。真の条件付き分布をモデル族が表現できるか、訓練データが本番環境と同じ分布から得られているか、有限標本による誤差がどの程度あるか、最適化が十分に進むかによって、学習後の calibration は変わる。

つまり proper scoring rule は「真の確率を出すことが損をする」という誤った報酬構造を避けるための基礎条件になるが、それだけで実運用時の完全な calibration を保証するものではない。学習後には、前節で扱った reliability diagram や calibration error などを使い、予測確率と実測頻度の対応を別途検証する必要がある。

6.7 RLCD について言えるのは calibrated decisions と既存理論の接続までである

TypeSafe は RLCD を、calibrated decisions、すなわち System One の判断に対して認識論的に誠実な確率を返すことを最適化する学習方法として説明している[1]。この目的は、真の分布を申告したとき期待評価が最適になる proper scoring rule の考え方と数理的に接続できる。

たとえば Jev がある二値判断について真の条件付き確率 \(p=0.7\) を内部的に表現すべき状況で、学習目的が strictly proper な確率損失に対応しているなら、0.9 や 0.5 より 0.7 を返すことが期待損失上有利になる。この性質は、「0.9 と出した判断は実際にも約 90% 正しい」という較正へ向かうための理論的基盤になり得る。

一方、2026 年 9 月 18 日時点で、TypeSafe は RLCD の具体的な報酬関数、損失関数、probability と confidence の学習方法、対数損失や Brier score を利用しているかどうかを公開していない[1]。RLCD という名称に Reinforcement Learning が含まれていても、公開情報だけから、その強化学習報酬を proper scoring rule で構成していると推定することはできない。

本節から確定的に導けるのは、より限定された関係である。TypeSafe が掲げる calibrated decisions を確率論の問題として実現する場合、モデルが報告する確率を評価対象そのものへ含める必要がある。既存の統計理論には、そのために真の分布を申告することを期待値上の最適解にする proper scoring rule が存在する。RLCD がその要件を内部でどのように実現しているかは、TypeSafe が学習アルゴリズムを公開した段階で初めて直接比較できる。

この区別を保つと、「確率を正直に申告するための数理原理」と「RLCD の未公開実装」を混同せずに済む。次に確認する必要があるのは、真の分布を申告する誘因があっても、それだけで高性能な判断モデルになるとは限らないという点である。確率予測では calibration に加えて、入力ごとの差を識別する能力や sharpness も別の評価軸になる。

7. 正解率と calibration と sharpness は別々に評価する

確率較正が良好であることは、確率値を意思決定へ利用するための重要な条件になる。しかし、それだけで個々の入力を高精度に識別できる判断モデルになるとは限らない。確率予測を評価するときは、少なくとも accuracy、識別能力、calibration、sharpness を分けて考える必要がある。それぞれが測っている性質が異なるため、一つの指標だけを改善しても、他の性質が自動的に改善するとは限らない。

7.1 常に 0.6 を返すモデルでも較正される場合がある

二値事象 \(Y\in\{0,1\}\) が全体の 60% で発生するデータを考える。このとき、入力 \(X\) の内容を一切見ず、すべての事例について

\[
q(X)=0.6
\quad
\forall X
\]

と返すモデルを作ることができる。

十分な標本で実際の発生率も 60% なら、このモデルについて

\[
P(Y=1\mid q(X)=0.6)=0.6
\]

が成立する。予測値 0.6 と実測頻度 0.6 が一致するため、前節で定義した calibration の条件を満たしている。

しかし、このモデルはすべての入力へ同じ値を返している。ある事例について真の条件付き確率が 0.05、別の事例について 0.95 であっても、その違いを利用しない。

\[
P(Y=1\mid X=x_1)=0.05
\]

\[
P(Y=1\mid X=x_2)=0.95
\]

であっても、

\[
q(x_1)=q(x_2)=0.6
\]

となる。このモデルは集団全体の基礎発生率を正しく表現している一方、個別事例を区別するための情報を予測値へ反映していない。

この例から、calibration が単独ではモデルの識別能力を保証しないことが分かる。予測確率と実測頻度が整合していても、そのモデルが入力からどの程度有用な情報を取り出しているかは別に評価する必要がある。

7.2 Accuracy は最終的なクラス選択が正しかった割合を見る

accuracy は、モデルが最終的に選んだクラスが正解した割合である。二値分類で閾値を 0.5 とするなら、

\[
\hat{Y}
=
\mathbf{1}
[q(X)\ge0.5]
\]

として予測クラス \(\hat{Y}\) を定め、標本数を \(N\) とすると、accuracy は

\[
\mathrm{Accuracy}
=
\frac{1}{N}
\sum_{i=1}^{N}
\mathbf{1}
[\hat{y}_i=y_i]
\]

で表せる。

この評価量が見るのは、最終的な 0 または 1 の選択が正しかったかどうかである。0.51 と予測した場合も 0.999 と予測した場合も、閾値が 0.5 なら同じクラス 1 を選択する。

そのため、

\[
q_1=0.51
\]

と

\[
q_2=0.999
\]

は accuracy の計算上、同じ予測として扱われる。確率値が現実の不確実性を適切に表しているかは accuracy から読み取れない。

たとえば 1000 件すべてについてモデルが 0.999 の confidence でクラスを予測し、そのうち 950 件が正しかったとする。accuracy は

\[
\frac{950}{1000}=0.95
\]

となる。分類器として 95% 正解している一方、0.999 と予測した集合の実測正解率は 0.95 である。

\[
0.999
\not\approx
0.95
\]

このモデルは分類結果だけを見れば高い accuracy を持つが、確率値については過信している。0.999 という数値を「ほぼ確実」として自動処理の閾値に使えば、実際の誤り率 5% を大幅に過小評価することになる。

7.3 識別能力は正例と負例へ異なるスコアを与えられるかを見る

識別能力は、入力ごとの差を使って、正例と負例へ異なるスコアを割り当てられるかという性質である。二値分類なら、理想的には \(Y=1\) の事例へ高い \(q(X)\)、\(Y=0\) の事例へ低い \(q(X)\) を与える。

正例 \(X^+\) と負例 \(X^-\) を無作為に一つずつ取ったとき、

\[
P
\left(
q(X^+)
>
q(X^-)
\right)
\]

が高ければ、モデルは正例と負例を順位として区別する能力を持つ。この量は ROC AUC の基本的な解釈にも対応する。

すべての入力へ 0.6 を返すモデルでは、

\[
q(X^+)=q(X^-)=0.6
\]

となるため、順位情報が生まれない。全体として calibration が成立していても、個別事例の識別には利用できない。

逆に、正例へ 0.9、負例へ 0.8 を一貫して返すモデルなら、順位としては両者を完全に識別できる場合がある。しかし実際の正解頻度がそれぞれ 0.7 と 0.3 なら、確率値そのものは較正されていない。識別能力と calibration はこのように独立して変化し得る。

7.4 Sharpness は予測がどの程度集中しているかを見る

Gneiting、Balabdaoui、Raftery は、確率予測を評価する原則として「calibration を満たすという制約の下で sharpness を最大化する」という考え方を提示している[15]。彼らの定義では、calibration は予測分布と実際の観測結果との統計的一貫性という、予測と結果の双方に関係する性質である。一方、sharpness は予測分布がどの程度集中しているかという、予測そのものの性質である。

二値分類の確率 \(q(X)\) で直感的に考えると、すべての事例について 0.5 前後しか返さないモデルより、十分な情報がある事例について 0.05 や 0.95 といった値まで確率を動かせるモデルの方が、より明確な予測を行っている。

ただし、0 または 1 に近い値を返すこと自体が良いわけではない。0.95 と予測した事例が実際にも約 95% 正しいという calibration を保ったうえで、入力に応じて確率分布を集中させることに意味がある。

この関係を簡略化すると、

\[
\text{calibration を維持}
\]

という条件の下で、

\[
q(X)
\]

が入力から得られる情報に応じて 0 や 1 に近い値まで分散できることが望ましい。

全入力へ 0.6 を返すモデルは calibration を満たし得るが、予測としてはほとんど情報を追加していない。入力ごとに 0.1、0.4、0.8、0.98 と異なる確率を返し、それぞれの確率帯で実測頻度も対応しているモデルなら、calibration と情報量の高い予測を両立している。

評価軸	評価する対象	高い性能が意味すること	単独では保証しないこと
Accuracy	最終的に選択したクラスと正解ラベルを比較する。	多くの事例で正しいクラスを選択している。	0.9 という confidence が実際の正解率 90% に対応することは保証しない。
識別能力	正例と負例へ異なるスコアを割り当てられるかを見る。	正例を負例より高く順位付けできる。	スコアの絶対値が正しい確率として解釈できることは保証しない。
Calibration	予測確率と実測頻度との対応を見る。	0.8 と予測した集合で実際にも約 80% の事象が発生する。	入力ごとの差を十分に識別していることは保証しない。
Sharpness	予測分布がどの程度集中した判断を返しているかを見る。	情報がある入力では曖昧な基礎発生率から離れた予測を返せる。	集中した予測が実際の頻度と整合していることは保証しない。

7.5 ECE は calibration を一つの数値へ要約する

実際のモデルでは連続的な確率が出力されるため、calibration を評価するときには予測値を複数の区間へ分割する方法が広く使われる。その代表的な要約指標が Expected Calibration Error、ECE である。

予測を \(M\) 個のビン \(B_1,\ldots,B_M\) に分ける。ビン \(B_m\) に含まれる事例数を \(|B_m|\)、全体の事例数を \(N\) とする。各ビンで、実際に正解した割合を

\[
\operatorname{acc}(B_m)
\]

平均 confidence を

\[
\operatorname{conf}(B_m)
\]

とすると、典型的な ECE は

\[
\mathrm{ECE}
=
\sum_{m=1}^{M}
\frac{|B_m|}{N}
\left|
\operatorname{acc}(B_m)
–
\operatorname{conf}(B_m)
\right|
\]

と書ける。各確率帯での confidence と実測 accuracy の差を計算し、そこにそのビンへ属する事例数の比率を掛けて全体へ集約する。

たとえば 0.8 から 0.9 のビンで平均 confidence が 0.85、実測 accuracy が 0.75 なら、そのビンの calibration gap は

\[
|0.75-0.85|
=
0.10
\]

となる。ECE はこのような誤差を複数の確率帯について加重平均する。

7.6 ECE の値はビンの設計と評価対象によって変わる

ECE は calibration を一つの数値へ圧縮できる一方、その値自体も測定方法に依存する。Nixon らは、既存の calibration metric がすべてのモデル出力を十分に評価しておらず、calibration error の推定にも非効率性があるとして、Adaptive Calibration Error、ACE を提案した[18]。

典型的な ECE では、0 から 1 までを固定幅のビンへ分割する。しかしモデルの予測値が特定範囲へ集中している場合、一部のビンには大量の事例が入り、別のビンにはほとんど事例が入らない。その結果、ビン数や境界を変えるだけで推定される calibration error も変化する。

さらに多クラス分類では、最大確率のクラスについてのみ confidence と accuracy を比較する実装が多い。たとえば 3 クラスについて、

\[
q=(0.51,0.48,0.01)
\]

と

\[
q=(0.51,0.25,0.24)
\]

は、最大 confidence だけを見る ECE ではどちらも 0.51 として扱われる。しかし残り 49% の確率質量がどのように分配されているかは大きく異なる。後段の意思決定で全候補の probabilities を使う場合、この違いを無視できない。

Nixon らは、このような最大予測だけを見る評価や固定ビン化の問題を指摘し、クラスごとの確率をより広く評価する方法を検討している[18]。そのため、あるモデルについて「ECE が低い」と報告されても、ビン数、ビン境界、最大クラスだけを評価したのか全クラスを評価したのかを確認する必要がある。

ECE の設計要素	評価結果へ与える影響
ビン数	少なすぎると異なる確率帯の誤差を平均化し、多すぎると各ビンの標本数が減って推定が不安定になる。
ビン境界	固定幅と等頻度などの分割方法によって、各区間に含まれる事例数と推定誤差が変わる。
評価する確率	最大クラスの confidence だけを見る方法と、すべてのクラス確率を見る方法では検出できる誤較正が異なる。
集約方法	絶対誤差、二乗誤差、クラス単位の平均などによって、同じモデルでも要約値が変わる。

calibration は数学的な定義を持つ性質だが、有限標本からその性質を測る指標には推定上の設計が入る。TypeSafe が Jev の probabilities や confidence をどの calibration metric で評価しているかが公開されれば、その数値がどの定義に基づくかも確認する必要がある。

7.7 通常の言語モデルでも確率較正は実現できる

RLCD の特徴を明確にするためには、既存の LLM でも calibration を実現できるという研究結果を同時に見る必要がある。RLHF と RLCD の差を「LLM は確率較正できず、RLCD だけができる」と置くと、既存研究と整合しなくなる。

Lin、Hilton、Evans は GPT-3 に対して、質問への回答とともに「90% confidence」「high confidence」のような自然言語による不確実性表現を生成させる方法を調べた[19]。モデルは logits を直接読み出さなくても、回答と confidence を自然言語として生成するよう学習でき、その verbalized probability が実測正解率と良好に較正される条件を示した。また、分布変化の下でも一定程度 calibration が維持されることを報告している。

この構造では、通常の生成モデルに

\[
\text{answer}
+
\text{confidence}
\]

を出力させ、confidence と実際の正解結果との対応を学習する。つまり自己回帰型 LLM というモデル形式そのものが、較正された不確実性の表現を原理的に妨げているわけではない。

Kadavath らも、大規模言語モデルが自分の回答の正しさを評価できるかを調べた[20]。多肢選択や真偽問題では、適切な形式で質問すると、大規模なモデルほど良好な calibration を示した。また、自由回答を一度生成した後、その回答が正しい確率を P(True) として別途評価させる方法でも、モデル規模とともに自己評価性能と calibration が改善する傾向を報告している。

一方、質問そのものについて「自分が答えを知っている確率」を表す P(IK) では、新しい課題への calibration に難しさが残ることも報告された[20]。ここでも、calibration はモデル全体に一度付与すれば終わる単一の性質ではなく、どの確率変数を予測させるか、どの分布で評価するかによって変化する。

7.8 RLHF と RLCD の差は「較正可能か」ではなく「何を学習目的の中心に置くか」にある

既存研究を踏まえると、RLHF と RLCD の比較範囲を限定できる。通常の LLM でも、追加学習や適切な質問形式によって、自分の回答の正しさを較正された確率として表現できる[19][20]。そのため、モデル形式だけを根拠に「RLHF 型 LLM には calibration が存在せず、RLCD だけが probability を扱える」と結論することはできない。

より正確な差は、標準的な RLHF と TypeSafe が公開している RLCD で、学習上の中心に置かれている対象が異なることにある。RLHF では、人間の比較から学習した報酬を高めることが方策最適化の中心になる。

\[
\max_\pi
\mathbb{E}
[r_\phi(x,y)]
\]

一方、TypeSafe は RLCD について、calibrated decisions、すなわち判断とともに認識論的に誠実な probability を返すことを設計目標として明示している[1]。この設計思想では、確率値の品質が補助的な表示項目ではなく、モデルをソフトウェアへ組み込むための中心的な出力になる。

したがって比較すべきなのは、

\[
\text{calibration が可能か}
\]

という二択ではなく、

\[
\text{calibration をどの段階で、どの目的関数の下で、どの出力に対して要求するか}
\]

という設計上の違いである。

この区別は Jev を評価するときにも必要になる。高い accuracy だけでは probability の意味を保証できず、低い calibration error だけでも入力ごとの識別能力を保証できない。さらに sharpness が高くても、その確率が実測結果と対応していなければ過信になる。Jev のように probability や confidence を後段の条件分岐へ直接渡すモデルでは、これらを別々の評価軸として確認する必要がある。

次節では、この評価の議論を Jev の実際の出力型へ戻す。Noul、Choice、Score が返す値を確率変数として表現すると、TypeSafe がいう typed probabilistic decisions が、既存の確率モデルのどこへ対応するかを具体的に整理できる。

8. Jev の Noul、Choice、Score を確率変数として読む

ここまで扱ってきた確率較正の議論を、Jev が実際に返す値へ対応させる。Cloudflare Workers AI で公開されている Jev は、一つの state に対して複数の質問を与え、それぞれを Noul、Choice、Score のいずれかの型として指定する。Cloudflare の説明では、Noul は yes / no の判断に probability を返し、Choice は定義済みの選択肢上の distribution と confidence を返し、Score は scale 上の score、各 level の distribution、confidence を返す[2]。

この API は、前節までの数理モデルと対応させやすい。ただし、ここで行う Bernoulli 分布、カテゴリカル分布、期待値という表現は、公開された入出力を既存の確率論で記述するための形式化である。Jev の内部で同じ分布族を明示的にパラメーター化していることや、それらに対応した特定の損失関数を使って学習していることまでを意味しない。

型	公開 API で確認できる値	確率論上の形式化	公開情報から確定できる範囲
Noul	0 から 1 の単一値 noul を返す。	二値確率変数の Bernoulli パラメーター \(q=P(Y=1\mid x)\) として表現できる。	TypeSafe は Noul を yes / no の判断に probability を返す型と説明している。
Choice	choice、候補ごとの probabilities、confidence を返す。	有限集合上のカテゴリカル分布 \(q_1,\ldots,q_K\) として表現できる。	候補ごとの probability と confidence が別フィールドとして公開される。
Score	score、各 level の probabilities、confidence、legend を返す。	順序付き離散変数上の確率分布と、その分布から得られる代表値として表現できる。	公開例では score が probability の加重平均と一致するが、その計算式自体は API 仕様として明記されていない。

8.1 Noul は一つの確率で二値判断を表現する

Noul の公開例では、「この問い合わせは緊急性を表しているか」という質問に対して、

\[
\text{noul}=0.95
\]

が返されている[2]。また、別の例では「返金が要求されているか」「規約上その返金が認められるか」という二つの質問に、それぞれ 0.99 と 0.98 が返される。TypeSafe の workflow の説明でも、Noul は yes or no の問いに probability を返す型として説明されている。

この入出力を確率変数として表すなら、判断対象を

\[
Y\in\{0,1\}
\]

とし、

\[
q_\theta(x)
=
P_\theta(Y=1\mid X=x)
\]

という一つのパラメーターで表現できる。Bernoulli 分布なら、

\[
P_\theta(Y=y\mid X=x)
=
q_\theta(x)^y
\left(
1-q_\theta(x)
\right)^{1-y}
\]

となる。\(Y=1\) の確率を \(q_\theta(x)\) とすれば、反対側の \(Y=0\) は自動的に

\[
P_\theta(Y=0\mid X=x)
=
1-q_\theta(x)
\]

で決まる。そのため二値判断では、二つの probability を別々に返さなくても一つの値だけで分布全体を表現できる。

たとえば Noul が 0.95 なら、この形式化では

\[
P(Y=1\mid x)=0.95
\]

\[
P(Y=0\mid x)=0.05
\]

という二値分布として読める。ただし、前節で確認したように、この 0.95 を「実際にも 95% 正しい」と解釈するには calibration の検証が別途必要になる。API が 0 から 1 の値を返すことと、その値が実測頻度へ正確に対応することは別の性質である。

8.2 Choice は有限個の候補上の確率分布として読める

Choice は二値判断を有限個の選択肢へ拡張した形として読める。Cloudflare の例では、問い合わせの担当部署を billing、technical、sales の 3 候補から選ぶ問いに対し、次の probabilities が返されている[2]。

\[
q_{\mathrm{billing}}=0.87
\]

\[
q_{\mathrm{technical}}=0.13
\]

\[
q_{\mathrm{sales}}=0
\]

合計は、

\[
0.87+0.13+0=1
\]

になる。候補集合を

\[
\mathcal{Y}
=
\{1,\ldots,K\}
\]

とすれば、この形式はカテゴリカル分布として

\[
q_k
=
P_\theta(Y=k\mid X=x)
\]

\[
\sum_{k=1}^{K}q_k=1
\]

と表現できる。

最終的に返される choice は、この分布で最も大きい probability を持つ候補として、概念的には

\[
\hat{y}
=
\arg\max_k q_k
\]

と対応させられる。公開例では、

\[
\arg\max
\{0.87,0.13,0\}
=
\mathrm{billing}
\]

であり、API の choice も billing になっている[2]。

この構造では、最終的な choice だけを見る場合と probabilities 全体を見る場合で得られる情報量が異なる。たとえば、

\[
(0.87,0.13,0)
\]

と

\[
(0.34,0.33,0.33)
\]

は、最大値の候補が同じならどちらも同じ choice を返し得る。しかし前者では一つの候補へ大きく確率が集中し、後者では 3 候補がほぼ拮抗している。後段のプログラムが人間レビューの要否を判断するなら、choice だけでなく分布全体を利用する意味が生まれる。

8.3 Choice の confidence は最大 probability と同じ値ではない

Choice には probabilities に加えて confidence も存在する。先ほどの担当部署の例では、最大 probability は billing の 0.87 だが、confidence は 0.8 である[2]。

\[
\max_k q_k
=
0.87
\]

\[
\mathrm{confidence}
=
0.8
\]

したがって、少なくともこの公開例では、

\[
\mathrm{confidence}
\ne
\max_k q_k
\]

である。

この差は、probability と confidence を別の確率量として扱う必要があることを示す。ただし、confidence が何を条件としたどの確率なのか、その計算式が entropy、margin、別モデルによる予測、あるいは別の内部量から構成されるのかは、公開資料から確定できない。

別の Choice 例では、account、billing、technical、other の 4 候補に対して account の probability が 1 となり、confidence も 1 になっている[2]。この例だけを見ると両者は一致するが、0.87 と 0.8 の例が存在するため、一般式として

\[
C=\max_k q_k
\]

を置くことはできない。

量	担当部署の公開例	確定できる意味
choice	billing	Jev が最終的に選択した候補を表す。
最大 probability	billing = 0.87	公開された候補分布の中で billing に割り当てられた確率を表す。
confidence	0.8	probabilities とは別フィールドで返されるが、その厳密な定義式は公開資料から確定できない。

8.4 Score は順序付き level 上の分布を持つ

Score は Choice より一段構造が増える。Cloudflare の例では、顧客の frustration を Calm、Frustrated、Very angry の 3 段階で評価する。このとき API は legend として、

\[
0\mapsto\mathrm{Calm}
\]

\[
1\mapsto\mathrm{Frustrated}
\]

\[
2\mapsto\mathrm{Very\ angry}
\]

という対応を返し、各 level の probabilities を

\[
(q_0,q_1,q_2)
=
(0,0.96,0.04)
\]

として返す[2]。

Choice では候補名の間に必ずしも順序関係を仮定する必要はない。billing と technical のどちらが「大きい」という関係は通常定義されない。一方、Score の 0、1、2 には尺度上の順序があり、

\[
0<1<2
\]

という関係を持つ。このため Score は、有限個の順序付き level を取る確率変数 \(S\) として、

\[
P(S=j\mid X=x)
=
q_j
\]

と形式化できる。

このとき分布全体は、

\[
\sum_{j=0}^{J}q_j=1
\]

を満たす。公開例では、

\[
0+0.96+0.04=1
\]

となる。

8.5 公開されている Score の例では score が確率加重平均と一致する

frustration の例で返される score は 1.04 である[2]。各 level の数値と probability を掛けて合計すると、

\[
0\times0
+
1\times0.96
+
2\times0.04
=
1.04
\]

となり、API の score と一致する。

順序付き離散確率変数 \(S\) の期待値は、一般に

\[
\mathbb{E}[S\mid X=x]
=
\sum_j
j\,P(S=j\mid X=x)
\]

で定義される。この例に probability を代入すると、

\[
\mathbb{E}[S\mid X=x]
=
1.04
\]

となるため、少なくともこの公開例の score は level 分布の期待値として解釈できる。

Cloudflare が公開している account risk の別の Score 例でも同じ関係を確認できる。Low、Moderate、High をそれぞれ 0、1、2 とし、probabilities が

\[
(0,0.16,0.84)
\]

のとき、API が返す score は 1.84 である[2]。確率加重平均を計算すると、

\[
0\times0
+
1\times0.16
+
2\times0.84
=
1.84
\]

となり、この例でも一致する。

公開例	Level probabilities	加重平均	API の score
Customer frustration	\((0,0.96,0.04)\)	\(0\times0+1\times0.96+2\times0.04=1.04\)	1.04
Account risk	\((0,0.16,0.84)\)	\(0\times0+1\times0.16+2\times0.84=1.84\)	1.84

二つの公開例がともに

\[
\mathrm{score}
=
\sum_j j q_j
\]

を満たしているため、Score を level 分布の期待値として読むことには強い整合性がある。ただし、Cloudflare の公開仕様は Score について「continuous rating on a scale」と説明し、score と level probabilities を返すことを示している一方、score の一般的な計算式を期待値として明文化していない。そのため、上式は公開例から確認できる関係として扱い、Jev の API 仕様全体について保証された内部計算式として断定する範囲までは広げない。

8.6 Score の期待値だけを見ると分布形状の情報が失われる

Score を期待値として読む場合、score が同じでも背後の probability distribution が異なる可能性がある。たとえば 0、1、2 の 3 level について、

\[
q^{(A)}
=
(0,1,0)
\]

なら、

\[
\mathbb{E}[S]=1
\]

である。一方、

\[
q^{(B)}
=
(0.5,0,0.5)
\]

でも、

\[
\mathbb{E}[S]
=
0\times0.5
+
2\times0.5
=
1
\]

となる。

二つとも score は 1 だが、意味は大きく異なる。前者は level 1 に確率が集中しており、後者は level 0 と level 2 に二分されている。期待値だけを後段へ渡すと、この不確実性の構造を区別できない。

Jev が Score で score だけでなく probabilities も返す設計には、この点で実用上の意味がある。後段のコードは平均的な score を使うだけでなく、極端な level にどの程度 probability が割り当てられているかを見て別の判断を行える。

たとえば、期待値だけを使うなら、

\[
\mathrm{review}
\quad\text{if}\quad
\mathbb{E}[S]>1.5
\]

というルールを作れる。一方、高リスク level 2 の probability を直接使うなら、

\[
\mathrm{review}
\quad\text{if}\quad
P(S=2\mid x)>0.3
\]

という別のルールも作れる。同じ score を持つ分布でも、後者では tail probability の違いを判断へ反映できる。

8.7 Score の confidence も probability distribution とは別の量である

Score にも Choice と同様に confidence が返される。frustration の例では、最大 probability は 0.96 だが confidence は 0.94 である[2]。

\[
\max_j q_j
=
0.96
\]

\[
\mathrm{confidence}
=
0.94
\]

account risk の例では、最大 probability が 0.84、confidence が 0.77 となっている[2]。

\[
\max_j q_j
=
0.84
\]

\[
\mathrm{confidence}
=
0.77
\]

Choice と Score の双方でこの差が確認できるため、Jev の confidence は少なくとも公開 API 上、単純な最大 probability の別名ではない。

一方、confidence が分布の entropy、最大値と第 2 候補との差、学習時の epistemic uncertainty、複数推論の一致率、あるいは別の内部モデルから計算されているかは公開資料から確定できない。そのため、

\[
C=f(q_1,\ldots,q_K)
\]

という具体的な関数 \(f\) を外部から仮定する根拠も現在はない。

8.8 API から観測できる確率構造と学習内部の数理構造を分離する

Jev の公開 API を既存の確率論へ対応させると、Noul、Choice、Score は次のような統一形で整理できる。

Noul は二値変数、

\[
Y\in\{0,1\}
\]

Choice は有限カテゴリ変数、

\[
Y\in\{1,\ldots,K\}
\]

Score は順序付き level を持つ変数、

\[
S\in\{0,\ldots,J\}
\]

として表現できる。そして、それぞれについて Jev は一点のラベルだけでなく、判断の不確実性を表す probability を公開する。Choice と Score では、それとは別に confidence も返す。

公開 API から観測できる構造	既存確率論での形式化	ここからは確定できない内部構造
Noul が 0 から 1 の probability を返す	Bernoulli 分布のパラメーターとして表現できる。	内部で Bernoulli 尤度や binary cross entropy を使って学習しているかは公開されていない。
Choice が候補ごとの probabilities を返す	カテゴリカル分布として表現できる。	softmax や categorical cross entropy を内部で使っているかは公開されていない。
Score が level probabilities と数値 score を返す	順序付き離散分布として表現でき、公開例では score がその期待値と一致する。	期待値計算が API の一般仕様なのか、どの ordinal loss を使うかは公開されていない。
Choice と Score が confidence を別に返す	probability distribution とは異なる追加の不確実性指標として扱う必要がある。	confidence の定義式、較正方法、学習対象は公開されていない。

この境界を維持すると、Jev について外部から数理的に言える範囲が明確になる。公開された入出力は、二値確率、有限カテゴリ分布、順序付き level 分布という既存の確率変数として整理できる。Score については複数の公開例で score と期待値が一致する。Choice と Score の confidence は最大 probability とは別の値として観測される。

一方、これらの probability がどの内部パラメーターから計算され、RLCD がどの reward、loss、sampling、calibration objective を使って学習しているかは現在の公開情報から確定できない。API の出力を確率論で記述することと、モデル内部の学習アルゴリズムを特定することは別の作業である。

この区別を置いたうえであれば、Jev の出力を通常のプログラムへ接続する方法は数理的に扱える。Noul の probability、Choice の分布、Score の level probabilities を使えば、モデル自身に最終行動まで決めさせる代わりに、後段のコードで期待損失を計算し、どの行動を選ぶかを明示的に決定できる。次節では、この確率分布をベイズ意思決定へ接続し、AI の判断と業務上の価値判断を分離する。

9. 較正された確率は通常の業務ロジックへ接続できる

確率予測の価値は、0.8 や 0.9 という数値を表示できることだけにあるのではない。その確率が現実の結果と対応していれば、業務上の損失やコストと組み合わせ、どの行動を選ぶべきかを通常の意思決定問題として計算できる。予測モデルは「何が起こりそうか」を確率として返し、業務ロジックは「その確率の下で何をするか」を決める。この二つを分離することで、AI の推定と組織側の価値判断を別々に管理できる。

9.1 確率分布と損失関数を組み合わせると最適行動を定義できる

真の状態を \(Y\)、入力を \(x\)、選択可能な行動の集合を \(A\) とする。行動 \(a\in A\) を選び、実際の状態が \(Y=y\) だったときに発生する損失を

\[
C(a,y)
\]

と置く。モデルが入力 \(x\) に対して状態 \(Y\) の確率分布

\[
q_\theta(y\mid x)
\]

を返すなら、行動 \(a\) の条件付き期待損失は

\[
R(a\mid x)
=
\sum_y
q_\theta(y\mid x)
C(a,y)
\]

で計算できる。各状態で発生する損失を、その状態が起きる確率で重み付けして合計した値である。

選択可能なすべての行動について期待損失を計算し、最も小さい行動を選べば、

\[
a^*(x)
=
\arg\min_{a\in A}
\sum_y
q_\theta(y\mid x)
C(a,y)
\]

となる。これはベイズ意思決定の基本形であり、確率的不確実性と行動の損失を別々に定義したうえで、一つの意思決定へ統合する。

この式には二種類の情報が明確に分かれている。

要素	意味	決定主体
\(q_\theta(y\mid x)\)	入力 \(x\) の下で各状態 \(y\) がどの程度起こりそうかを表す確率分布。	予測モデルが推定する。
\(C(a,y)\)	行動 \(a\) を選び、状態 \(y\) が実現した場合に業務上どれだけ損失が生じるかを表す。	業務要件、制度、リスク許容度、運用コストなどから人間側が定義する。
\(R(a\mid x)\)	各状態の確率と損失を組み合わせた条件付き期待損失。	通常のプログラムで計算できる。
\(a^*(x)\)	期待損失を最小にする最終行動。	明示された意思決定規則によって選択する。

この分離には設計上の意味がある。モデル自身に「この取引を止めるべきか」と最終判断まで委ねる場合、予測と価値判断が一つの出力に混ざる。状態確率だけをモデルに推定させれば、「不正を通した損失をどの程度重く見るか」「人間レビューにいくらコストを許容するか」といった業務上の判断をコード側へ残せる。

9.2 二値の不正検知では損失比から閾値を導ける

最も単純な例として、不正取引を検知するシステムを考える。真の状態を、

\[
Y
\in
\{
\mathrm{normal},
\mathrm{fraud}
\}
\]

とし、モデルが返す不正確率を

\[
p
=
P(Y=\mathrm{fraud}\mid X=x)
\]

とする。

選択可能な行動を通常承認と人間レビューの二つに限定する。

\[
A
=
\{
\mathrm{approve},
\mathrm{review}
\}
\]

ここでは数理構造を明確にするため、正常取引を承認する損失を 0、人間レビューを行えば不正による損失を回避できると仮定する。不正取引を通常承認した場合の平均損失を \(C_F\)、人間レビューを 1 件実施する固定コストを \(C_R\) とする。

行動	正常取引	不正取引
通常承認	損失 0 とする。	不正を通す損失 \(C_F\) が発生する。
人間レビュー	レビューコスト \(C_R\) が発生する。	レビューコスト \(C_R\) が発生し、不正損失は回避できると仮定する。

通常承認を選んだ場合、不正が発生する確率は \(p\) であるため、期待損失は

\[
L_{\mathrm{approve}}
=
pC_F
\]

となる。

人間レビューでは、正常か不正かにかかわらず固定コスト \(C_R\) が発生すると置いたため、期待損失は

\[
L_{\mathrm{review}}
=
C_R
\]

である。

人間レビューを選択すべき条件は、レビューの方が通常承認より期待損失が小さい場合である。

\[
L_{\mathrm{review}}
<
L_{\mathrm{approve}}
\]

各式を代入すると、

\[
C_R
<
pC_F
\]

となる。\(C_F>0\) とすれば、両辺を \(C_F\) で割って、

\[
p
>
\frac{C_R}{C_F}
\]

を得る。

つまりレビュー閾値は、AI が経験的に決める値ではなく、レビューコストと不正を通した場合の損失の比から導ける。

9.3 不正損失が 100、レビューコストが 5 なら閾値は 5% になる

具体的に、不正取引を通常承認した場合の平均損失を

\[
C_F=100
\]

人間レビュー 1 件のコストを

\[
C_R=5
\]

とする。このとき閾値は、

\[
\frac{C_R}{C_F}
=
\frac{5}{100}
=
0.05
\]

となる。

したがって、

\[
p
>
0.05
\]

なら人間レビューへ回し、

\[
p
<
0.05
\]

なら通常承認の方が期待損失は小さい。

\[
p>0.05
\quad\Longrightarrow\quad
\mathrm{review}
\]

たとえば \(p=0.10\) なら、通常承認の期待損失は

\[
0.10\times100
=
10
\]

であり、レビューコスト 5 より大きい。そのためレビューした方が期待損失は小さくなる。

一方、\(p=0.01\) なら、

\[
0.01\times100
=
1
\]

であり、レビューコスト 5 の方が大きい。この仮定の下では通常承認が選ばれる。

不正確率 \(p\)	承認時の期待損失 \(pC_F\)	レビュー時の期待損失 \(C_R\)	選択
0.01	1	5	通常承認。
0.05	5	5	この単純モデルでは両者が同値になる。
0.10	10	5	人間レビュー。
0.50	50	5	人間レビュー。

この例で重要なのは、0.05 という閾値そのものに普遍的な意味があるわけではないことである。\(C_R\) と \(C_F\) が変われば閾値も変わる。高額取引では不正を通した損失 \(C_F\) が大きくなり、より低い不正確率でもレビューする方が合理的になる。レビューに高度な専門家を必要とし \(C_R\) が上がれば、閾値は反対方向へ動く。

9.4 較正誤差は業務上の意思決定閾値を実質的にずらす

この意思決定が正しく機能するには、モデルの \(p\) が実際の不正確率と対応している必要がある。真の不正確率を \(p\)、モデルが報告する確率を \(q\) と分ける。

業務コードはモデルの出力 \(q\) を使って、

\[
q
>
\tau
\]

ならレビューする。ここで閾値を

\[
\tau
=
\frac{C_R}{C_F}
\]

とする。

理想的に

\[
q=p
\]

なら、このルールは先ほど導いた期待損失最小化と一致する。

しかし、真の確率が

\[
p=0.05
\]

である事例に対して、過信したモデルが

\[
q=0.50
\]

を返せば、業務コードは実際のリスクを 10 倍に見積もってレビューを発生させる。逆に、

\[
q=0.005
\]

と過小評価すれば、本来レビューすべき領域にある取引を通常承認する可能性が生じる。

較正誤差を関数

\[
q=g(p)
\]

として表すと、この影響をさらに明確にできる。業務コードは

\[
g(p)
>
\tau
\]

を条件にレビューするため、\(g\) が単調で逆関数を持つなら、真の確率に対する実効的な閾値は

\[
p
>
g^{-1}(\tau)
\]

になる。

理想的な較正では \(g(p)=p\) なので、

\[
g^{-1}(\tau)=\tau
\]

となる。一方、モデルが系統的に過信または過小評価すると、コード上は同じ 0.05 という閾値を使い続けていても、現実のリスクに対する閾値は別の場所へ移動する。

この意味で calibration は表示上の品質指標にとどまらない。確率出力を損失最小化へ利用するシステムでは、calibration error がそのまま業務上の意思決定誤差へ伝播する。

9.5 閾値はモデルではなく損失関数から決められる

この構造には、AI システムを設計するうえで重要な責任分界がある。モデルが担うのは、

\[
P(Y\mid X=x)
\]

の推定である。どの確率から自動承認し、どこから人間レビューへ送り、どこで処理を停止するかは、

\[
C(a,y)
\]

という業務側の損失構造から決まる。

たとえば金融、不正検知、問い合わせ分類のいずれでも、「confidence が 0.8 を超えたら自動処理」という値をモデル固有の定数として置く必要はない。誤った自動処理の損失、人間レビューのコスト、処理遅延、顧客影響などを数値化すれば、閾値はそれらの関係から導出できる。

二値問題では先ほどの、

\[
\tau
=
\frac{C_R}{C_F}
\]

がその最も単純な例である。複数の行動と状態がある場合も、一般形

\[
a^*(x)
=
\arg\min_a
\sum_y
q_\theta(y\mid x)C(a,y)
\]

へ戻ればよい。

たとえば行動を、

\[
A
=
\{
\mathrm{approve},
\mathrm{review},
\mathrm{block}
\}
\]

とすれば、各行動について正常取引と不正取引に対する損失を定義し、それぞれの期待損失を比較できる。モデル自身へ「承認、レビュー、停止のどれを選ぶべきか」という価値判断まで学習させる必要はなく、状態確率の推定と行動選択を分離したまま扱える。

9.6 Jev の typed decisions はこの分離と相性がよい

TypeSafe は Jev を、ソフトウェア内部で使う typed decisions を返すモデルとして位置付けている。現行の説明でも、Jev が calibrated probabilities を返し、ソフトウェア側で自動処理と人間レビューの閾値を設定し、複数の判断をコードで組み合わせて workflow を構成することを前提としている[1]。

この設計では、AI が業務処理全体を自然言語で決定する必要がない。たとえば Jev の Noul が、

\[
P(\mathrm{fraud}\mid x)=0.08
\]

に相当する判断を返したとする。後段の通常コードは、業務上定義された閾値 0.05 と比較して、

\[
0.08>0.05
\]

であるためレビューへ送る。

同じ予測モデルを使っていても、業務条件が異なれば別の閾値を設定できる。ある業務では不正の損失が大きいため 0.02 からレビューし、別の業務では人間確認コストが高いため 0.20 まで自動処理する、といった差をコード側で表現できる。

この構造では、AI モデルを再学習しなくても、業務上のコスト構造やリスク許容度の変更を意思決定ロジック側で反映できる。モデルは状態についての確率的判断を担当し、その確率をどのような行動へ変換するかは外部の規則として維持される。

9.7 予測と意思決定を分離すると検証対象も分離できる

予測モデルと業務ロジックを分けると、障害や判断ミスが起きたときに何を検証すべきかも明確になる。

第一に、予測モデルについては、

\[
q_\theta(Y\mid x)
\]

が実際の結果とどの程度対応していたかを調べる。accuracy、識別能力、calibration、sharpness など、前節までに整理した指標がこの層に属する。

第二に、意思決定ロジックについては、

\[
C(a,y)
\]

の設定が実際の業務上の損失を適切に表していたかを調べる。人間レビューのコストを過小評価していた、誤承認の損失を過大評価していた、制度上許されない自動処理を行動集合へ含めていた、といった問題はこの層に属する。

第三に、両者を接続する閾値について、

\[
a^*(x)
=
\arg\min_a
\mathbb{E}[C(a,Y)\mid x]
\]

から正しく導出されていたかを確認する。

層	主な検証対象	代表的な問題
確率予測	モデルの probability と実際の結果との対応を検証する。	誤分類、過信、過小評価、分布変化による calibration の悪化。
損失定義	業務上のコスト、リスク、制度条件が適切に数値化されているかを検証する。	誤承認コスト、レビューコスト、顧客影響などの見積もり誤り。
意思決定規則	確率と損失から適切な行動が選ばれているかを検証する。	閾値の計算誤り、条件分岐の実装誤り、権限境界の設定誤り。

既稿では、自動評価を生成工程へ組み込んだ場合、テストに成功したという観測値と、本来の仕様へ適合していることを分けて検証する必要があると整理した[21]。確率的判断でも同じ分離が有効である。モデルが正しい確率を返したかという問題と、その確率から適切な行動を選んだかという問題は別の検証対象になる。

9.8 較正された確率は AI の判断を明示的な意思決定へ変換する

この構造から、calibration の実務上の意味を整理できる。確率が較正されていれば、AI が返す 0.05 や 0.8 を、単なる confidence 表示ではなく期待損失計算の入力として利用できる。

\[
\text{state}
\longrightarrow
q_\theta(Y\mid x)
\longrightarrow
C(a,Y)
\longrightarrow
a^*(x)
\]

最初の写像は予測モデルが担当し、後半は通常のプログラムで計算できる。モデルの出力が確率分布として意味を持つほど、AI に最終的な価値判断まで内包させる必要性は小さくなる。

TypeSafe が Jev を software automation のための typed decisions として設計し、確率と confidence を通常コードへ返す構成は、この分離と整合する[1]。モデルが「何をすべきか」を自由文で決定する構造より、モデルが「何がどの程度起こりそうか」を返し、その確率を業務上の損失と組み合わせる構造の方が、閾値、コスト、権限境界を明示的に管理できる。

ただし、この意思決定理論が直接適用できるのは、Jev が返す probability を対象状態の条件付き確率として利用できる範囲である。TypeSafe が probabilities と confidence をどのような損失関数で学習し、どの程度 calibration を保証しているかという技術詳細は現在公開されていない。そのため、本節で示したベイズ意思決定は Jev の内部アルゴリズムを説明するものではなく、較正された確率が得られた場合に、それを業務ロジックへどのように接続できるかを示す外部の意思決定モデルである。

この境界を置くと、RLCD の狙いを RLHF と比較するための最後の構図が見えてくる。RLHF では人間の選好を代理報酬へ変換し、その報酬を高めるよう生成方策を最適化する。一方、RLCD の公開目的を確率論として形式化すると、判断結果へ意味のある確率を付与し、その確率を通常の意思決定へ渡すことが中心になる。次節では、両者をそれぞれの目的変数まで戻し、数理モデルとして全体を整理する。

10. RLHF と RLCD の差は目的変数の置き方に現れる

ここまでの議論を数理モデルとして一つに戻すと、RLHF と RLCD の違いは、単に生成する値の型が異なることより、学習と利用の中心にどの量を置くかという違いとして整理できる。RLHF では、人間による比較判断を潜在的な報酬へ変換し、その報酬を高める方向へ生成方策を更新する。一方、TypeSafe が RLCD について公開している中心概念は calibrated decisions であり、Jev は判断候補とともに probability や confidence をソフトウェアへ返す[1][2]。

ただし、この二つを同じ確度の数式として並べることはできない。RLHF については、報酬モデルの学習、KL 制約、PPO などを含む代表的な実装が論文として公開されている。一方、2026 年 9 月 18 日時点で、TypeSafe は RLCD の具体的な報酬関数、損失関数、学習データの構成、確率較正方法、方策最適化アルゴリズムを公開していない。本節で RLCD 側に置く数式は、公開された calibrated decisions という目的を既存の確率論と意思決定理論によって形式化した外部モデルである。

10.1 RLHF では人間比較から代理報酬を構成する

RLHF の出発点は、人間による回答間の比較である。入力 \(x\) に対して、人間が \(y^+\) を \(y^-\) より好んだという観測を、

\[
y^+
\succ
y^-
\]

として得る。この比較データから、回答へ実数値を割り当てる報酬モデル

\[
r_\phi(x,y)
\]

を学習する。前節までに見たように、Bradley–Terry 型のモデルでは報酬差が人間による選択確率の対数オッズに対応する。

その後、生成方策 \(\pi_\theta\) は、この報酬モデルが高く評価する回答をより多く生成する方向へ更新される。単純化すれば、

\[
\pi^*
=
\arg\max_{\pi}
\mathbb{E}_{x,y\sim\pi}
\left[
r_\phi(x,y)
\right]
\]

と表せる。

実際の RLHF では参照方策からの乖離を抑える KL 項などが入るが、中心構造は変わらない。

\[
\text{human comparisons}
\longrightarrow
r_\phi(x,y)
\longrightarrow
\pi_\theta(y\mid x)
\]

この系で直接最適化されるのは、人間の比較判断を近似する代理報酬である。前節で分解したように、本来の目的を \(u(x,y)\) とすれば、

\[
r_\phi(x,y)
=
u(x,y)
+
\delta_H(x,y)
+
\delta_R(x,y)
\]

と考えられる。人間評価と本来目的との差 \(\delta_H\)、報酬モデルと人間評価との差 \(\delta_R\) が十分に小さい領域では、報酬の改善が本来目的の改善と対応しやすい。最適化によってこれらの誤差が系統的に利用される領域へ移れば、代理報酬と本来目的の改善方向は分離し得る。

10.2 RLCD の公開目的を形式化すると確率分布が中心に置かれる

TypeSafe は RLCD を、human preference ではなく calibrated decisions を最適化する学習方法として説明している[1]。Jev の公開 API では、Noul、Choice、Score の判断に probability が付随し、Choice と Score には confidence も返される[2]。

この公開目的を確率予測問題として形式化するなら、入力 \(x\) に対する判断候補 \(k\) の予測分布を

\[
q_\theta(k\mid x)
\]

と置くことができる。

最も強い理想状態は、モデルの予測分布が真の条件付き確率と一致することである。

\[
q_\theta(k\mid x)
=
P(Y=k\mid X=x)
\]

ただし、この条件は calibration より強い。確率較正として直接要求されるのは、同じ予測確率を持つ事例群について、予測値と実測頻度が一致することである。

\[
P
\left(
Y=k
\mid
q_\theta(k\mid X)=p
\right)
=
p
\]

たとえば、ある判断について 0.8 と予測された事例を多数集めたとき、その約 80% が実際にも正しいなら、0.8 という数値に実測頻度としての意味が生まれる。

RLCD がこの関係を具体的にどの損失関数で学習しているかは公開されていない。前節で扱った proper scoring rule は、真の確率を申告することを期待損失上の最適解にする既存理論として、calibrated decisions の数理要件を説明するために利用できる。しかし、TypeSafe が対数損失、Brier score、その他の特定の scoring rule を RLCD 内部で使っていることを示す公開情報は現在存在しない。

10.3 RLHF と RLCD では最適化後に利用したい数値が異なる

二つの構造を並べると、学習後にどの数値へ意味を持たせたいかという差が見える。

RLHF では、

\[
r_\phi(x,y_1)
>
r_\phi(x,y_2)
\]

なら、報酬モデル上では \(y_1\) が \(y_2\) より人間に選ばれやすいと評価されている。その報酬差を使って生成方策を更新する。一方、報酬値 0.9 そのものに「90% 正しい」という意味は定義されていない。

確率較正を中心に置く形式化では、

\[
q_\theta(k\mid x)=0.9
\]

という値について、対応する事例群の実測結果が、

\[
P
\left(
Y=k
\mid
q_\theta(k\mid X)=0.9
\right)
\approx
0.9
\]

となることに意味がある。

つまり RLHF では報酬の大小関係が生成方策を動かす主要な信号になり、RLCD の公開目的を確率論で形式化した場合には、判断値の絶対的な確率解釈が後段処理の主要な入力になる。

観点	RLHF	RLCD の公開目的を確率論で形式化した場合
出発点	人間による回答間の比較を主要な学習信号として使う。	具体的な学習データの構成は TypeSafe から公開されていない。
中心となる量	人間選好を近似する代理報酬 \(r_\phi(x,y)\) を置く。	公開目的の形式化では、判断候補に対する確率分布 \(q_\theta(k\mid x)\) を置く。
最適化後に求める性質	人間から高い報酬を受ける回答の生成確率を高める。	予測された probability や confidence と実際の結果との対応を利用可能にする。
数値の絶対値	報酬 0.9 が正解率 90% を意味する構造にはなっていない。	厳密な calibration が成立する場合、0.9 を実測頻度約 90% と対応付けられる。
後段処理	生成された回答を人間または別の処理系が利用する。	判断確率を条件分岐、閾値、期待損失計算へ接続できる。
既存理論との接続	Bradley–Terry 型報酬モデル、KL 制約、PPO などの代表的構成が公開されている。	Calibration、proper scoring rule、ベイズ意思決定によって公開目的を形式化できる。
TypeSafe が公開している範囲	RLHF 自体については既存論文から具体的な学習式を確認できる。	calibrated decisions という目的、Jev の API、評価結果、利用例までが公開され、具体的な RLCD の loss、reward、training algorithm は未公開である。

10.4 確率へ意味を持たせると予測と価値判断を分離できる

RLCD の公開目的を確率予測として形式化する意義は、確率の精度だけにあるわけではない。前節で扱ったように、状態 \(Y\) に対する予測分布 \(q_\theta\) が利用可能になれば、業務上の損失関数 \(C(a,Y)\) と組み合わせて最終行動を外部コードで選べる。

\[
a^*(x)
=
\arg\min_{a\in A}
\sum_y
q_\theta(y\mid x)
C(a,y)
\]

この式では、

\[
q_\theta(y\mid x)
\]

が「何が起こりそうか」を表し、

\[
C(a,y)
\]

が「それが起きたとき、どの行動をどの程度重く評価するか」を表す。

前者を AI モデルが推定し、後者を業務側が定義することで、予測と価値判断を別の層として維持できる。

TypeSafe が Jev を smart if-statements や structured workflows のためのモデルとして説明し、確率によって自動処理とレビューを分け、複数の判断をコードで組み合わせる設計を提示しているのは、この構造と整合する[1]。Jev の公開 workflow でも、仕事全体を一度にモデルへ解かせるより、狭い判断へ分解し、可能な部分をコードへ委ねる構成が採られている。

この設計では、判断モデルを変更しなくても、業務上の損失や権限境界が変われば外部の意思決定規則を変更できる。同じ probability 0.1 でも、誤判定の損失が大きい業務では人間レビューへ送り、レビューコストの高い業務では自動処理する、といった差をコード側に残せる。

10.5 RLHF と RLCD は競合する単一の尺度ではなく異なる目的を持つ

ここまでの比較から、RLHF と RLCD を単純な性能順位として整理する必要がないことも分かる。RLHF が解いてきた中心課題は、明示的な正解関数を記述しにくい出力について、人間の比較を学習信号へ変換し、指示追従や会話品質などを改善することである。

一方、TypeSafe が RLCD へ与えた中心課題は、ソフトウェア内部で利用する狭い判断へ probability と confidence を付け、その不確実性を後段のコードが利用できるようにすることである[1]。

数理的には、両者を次のように対比できる。

\[
\boxed{
\mathrm{RLHF}:
\quad
\max_\pi
\mathbb{E}
\left[
r_\phi(x,y)
\right]
}
\]

に対して、RLCD の公開目的を既存理論で形式化すると、

\[
\boxed{
q_\theta(k\mid x)
\approx
P(Y=k\mid X=x)
}
\]

さらに確率較正として、

\[
\boxed{
P
\left(
Y=k
\mid
q_\theta(k\mid X)=p
\right)
\approx
p
}
\]

を要求する構図になる。

左側は代表的な RLHF の目的を抽象化した式である。右側の二式は TypeSafe が公開した RLCD の実装式ではなく、calibrated decisions という公開目的を確率論として表現したものである。この非対称性を維持することが、現時点の RLCD を数理的に論じるうえで必要になる。

10.6 現時点で確定していることと未公開のことを分ける

最後に、RLCD について現在どこまで確定しているかを整理する。

区分	内容
公開事実	TypeSafe は Jev を最初の System One Model として公開し、その新しい学習方法を RLCD と呼んでいる。RLCD は calibrated decisions、すなわち System One の判断に対して認識論的に誠実な probability を返すことを最適化すると説明されている[1]。
公開 API	Jev は Noul、Choice、Score という型付き判断を返し、probabilities や confidence を構造化された値として提供する[2]。
既存理論による形式化	Calibration、proper scoring rule、条件付き確率、ベイズ意思決定を使えば、calibrated decisions に求められる性質と、その確率を後段の業務ロジックへ接続する方法を数理的に記述できる。
未公開部分	RLCD の具体的な報酬関数、損失関数、学習データ、probability と confidence の生成方法、サンプリング、方策最適化、較正目的の詳細は 2026 年 9 月 18 日時点で公開されていない。

この区分によって、本稿で導いた数式の位置付けも明確になる。RLHF の数式は既存研究で公開された学習構造を抽象化したものである。Jev の Noul、Choice、Score に関する数式は、公開 API を Bernoulli 分布、カテゴリカル分布、順序付き離散分布として表現した外部モデルである。Calibration、proper scoring rule、ベイズ意思決定の数式は、TypeSafe が掲げる calibrated decisions が既存の確率論ではどのような性質として記述できるかを示したものである。

TypeSafe が今後 RLCD の技術詳細を公開すれば、実際に使われている報酬、損失、サンプリング、方策最適化と、本稿で使った数理モデルを直接比較できる。その時点で初めて、どの部分が RLCD の内部実装と一致し、どの部分が説明のために外部から与えた形式化だったのかを検証できる。

現時点で確定している範囲だけから導ける結論は、RLHF と RLCD が同じ出力を別の方法で最適化しているのではなく、学習後に意味を持たせたい量の置き方そのものが異なるという点にある。RLHF は人間の比較を代理報酬へ変換し、その報酬を通じて生成方策を調整する。TypeSafe が提示する RLCD は、判断と不確実性を probability と confidence としてソフトウェアへ渡すことを設計の中心に置く。

その差を数理的に追うと、議論の焦点は「どちらの AI が優れているか」から、「どの確率変数を推定し、その数値にどの意味を保証し、どの価値判断を後段のコードへ残すか」へ移る。Jev が提示した新しさは、文章生成能力そのものより、AI の出力を確率的判断としてソフトウェアの意思決定系へ組み込もうとする設計思想にある。RLCD の内部アルゴリズムが公開されたとき、その設計思想が学習則としてどのように実装されているかを、初めて数式のレベルで評価できる。

参考文献

Diogo Almeida, Introducing System One Models and Jev（2026-09-14）. https://typesafe.ai/blog/introducing-system-one-models-and-jev
Cloudflare, Jev (typesafe). https://developers.cloudflare.com/ai/models/typesafe/jev/
id774, AI は「次の単語を予測しているだけ」なのか（2026-09-03）. https://blog.id774.net/entry/2026/09/03/5536/
Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig, How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering（2021-09-08）. https://doi.org/10.1162/tacl_a_00407
Ralph A. Bradley, Milton E. Terry, Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons（1952-12）. https://doi.org/10.1093/biomet/39.3-4.324
Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei, Deep Reinforcement Learning from Human Preferences（2017-06-12）. https://arxiv.org/abs/1706.03741
Daniel M. Ziegler et al., Fine-Tuning Language Models from Human Preferences（2019-09-18）. https://arxiv.org/abs/1909.08593
Nisan Stiennon et al., Learning to summarize from human feedback（2020-09-02）. https://arxiv.org/abs/2009.01325
Long Ouyang et al., Training language models to follow instructions with human feedback（2022-03-04）. https://arxiv.org/abs/2203.02155
id774, AI は正しさではなく、評価の通り方を学ぶことがある（2026-09-05）. https://blog.id774.net/entry/2026/09/05/5490/
Leo Gao, John Schulman, Jacob Hilton, Scaling Laws for Reward Model Overoptimization（2022-10-19）. https://arxiv.org/abs/2210.10760
Tom Hosking, Phil Blunsom, Max Bartolo, Human Feedback is not Gold Standard（2023-09-28）. https://arxiv.org/abs/2309.16349
Jiaxin Wen, Ruiqi Zhong, Akbir Khan, Ethan Perez, Jacob Steinhardt, Minlie Huang, Samuel R. Bowman, He He, Shi Feng, Language Models Learn to Mislead Humans via RLHF（2024-09-19）. https://arxiv.org/abs/2409.12822
Glenn W. Brier, Verification of Forecasts Expressed in Terms of Probability（1950-01-01）. https://doi.org/10.1175/1520-0493(1950)078%3C0001:VOFEIT%3E2.0.CO;2
Tilmann Gneiting, Fadoua Balabdaoui, Adrian E. Raftery, Probabilistic Forecasts, Calibration and Sharpness（2007-03-05）. https://doi.org/10.1111/j.1467-9868.2007.00587.x
Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger, On Calibration of Modern Neural Networks（2017）. https://proceedings.mlr.press/v70/guo17a.html
Tilmann Gneiting, Adrian E. Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation（2007-03）. https://doi.org/10.1198/016214506000001437
Jeremy Nixon, Michael W. Dusenberry, Linchuan Zhang, Ghassen Jerfel, Dustin Tran, Measuring Calibration in Deep Learning（2019-06）. https://openaccess.thecvf.com/content_CVPRW_2019/html/Uncertainty_and_Robustness_in_Deep_Visual_Learning/Nixon_Measuring_Calibration_in_Deep_Learning_CVPRW_2019_paper.html
Stephanie Lin, Jacob Hilton, Owain Evans, Teaching Models to Express Their Uncertainty in Words（2022-05-28）. https://arxiv.org/abs/2205.14334
Saurav Kadavath et al., Language Models (Mostly) Know What They Know（2022-07-11）. https://www.anthropic.com/research/language-models-mostly-know-what-they-know
id774, AI がテストを通しても、「正しい」とは限らない（2026-09-01）. https://blog.id774.net/entry/2026/09/01/5534/