Yamagishi Complexity Torus Lab | 山岸勇輝ラボ

要旨

カルバック＝ライブラー・ダイバージェンス（相対エントロピー）は「二つの分布の隔たり」と説明される。本稿はそれが距離でないこと、それでも局所的には計量になること、そして非対称であることが働きであることを書く。新しい数学定理も新しい物理法則も主張しない。

第一に、距離ではない。非対称である（$0.2238$ 対 $0.1938$）だけでなく、三角不等式が破れる。三点を無作為に $20$ 万組取ると$25.4\%$ で破れた（第2節）。

第二に、これが本稿の芯の一つ。だが二階微分は計量である。正規分布族で平均を $\varepsilon$ ずらすと $D=\varepsilon^2/(2\sigma^2)$ となり、フィッシャー計量の半分 $\frac12 g_{\mu\mu}\varepsilon^2$ と厳密に一致する。幅をずらすと $D$ は一階で消え、二階微分がちょうど $g_{\sigma\sigma}=2/\sigma^2$ になる（論文133）。大域では距離でなく、無限小では距離である（第3節）。

第三に、これが本稿の芯のもう一つ。f-ダイバージェンスは全部同じ計量に潰れる。$p=a$、$q=a+e$ として展開すると、KL は $\frac{1}{2a}e^2$、逆KL も $\frac{1}{2a}e^2$、$\chi^2$ は $\frac{1}{a}e^2$、ヘリンガーの二乗は $\frac{1}{4a}e^2$、全部が同じ二次形式の定数倍である。だからこそチェンツォフの一意性が成り立ちうる（第4節）。

第四に、非対称は欠陥ではなく分業である。平均 $-3$ と $+6$ の等混合を単一の正規分布で近似すると、順方向 $D(\text{目標}\|\text{模型})$ は平均 $1.50$・幅 $4.60$ で両方の山を覆いにいき、逆方向 $D(\text{模型}\|\text{目標})$ は平均 $-3.00$・幅 $1.00$ で片方の山に落ちる（本稿で計算）。二つの向きは別の問いに答えている（第5節）。

第五に、熱力学では余剰自由エネルギーである。非平衡分布の自由エネルギーは、平衡値を $k_BT\,D(p\|p_{\rm eq})$ だけ超える。「情報」と「自由エネルギー」は単位を変えただけの同じ量である。単位は規約（論文131）、非負性は規約ではない（第6節）。

射程（何を示さないか）

本稿の射程：新しい数学定理も新しい物理法則も主張しない。カルバック＝ライブラー（1951）、チザールのf-ダイバージェンス、チェンツォフの定理、変分推論における順逆KLの違いはいずれも標準的である。本稿が加えるのは、三角不等式の破れを数えたこと、二階微分がフィッシャー計量であることを閉じた形で示したこと、四つのダイバージェンスの二次係数を並べたこと、非対称を分業として実演したことだけである。KL を距離と呼ばない。

1. 記法と位置づけ

二つの確率分布 $p,q$ について
$$ D(p\|q)=\sum_i p_i\log\frac{p_i}{q_i} \tag{1} $$
と書く（連続なら積分）。$D\ge0$ であり、等号は $p=q$ のときに限る。

位置づけ：既存の定理を並べ、その射程を書く。新しい定理は主張しない。論文17 は住所を書いて初めて検査可能になると述べた。本稿は「隔たり」という一語について、それを行う。

2. 距離ではない

検算 2.1（非対称）：$p=(0.5,0.3,0.2)$、$q=(0.2,0.5,0.3)$ について本稿では
$$ D(p\|q)=0.223805,\qquad D(q\|p)=0.193794 $$
を得た。同じ二つの分布について、向きを変えると値が変わる。

検算 2.2（三角不等式）：$r=(0.34,0.33,0.33)$ を挟むと
$$ D(p\|q)=0.223805\;>\;D(p\|r)+D(r\|q)=0.064083+0.074746=0.138829 $$
であり、三角不等式が成り立っていない。三点を無作為に $20$ 万組取ると、$50826$ 組（$25.4\%$）で破れた。（証明終）

観察 2.3 （それでも「隔たり」ではある）　$D\ge0$ で $p=q$ のときだけ $0$ になる。ゆえに「同じかどうか」は測れる。測れないのは「どちらがどれだけ遠いか」の一貫した順序である。一語「距離」が、二つの要求を含んでいる。同一性の判定と、三角形の成立。KL は前者だけを満たす。

3. だが、二階微分は計量である

検算 3.1（平均をずらす）：正規分布族で平均だけを $\varepsilon$ ずらすと、閉じた形により
$$ D\bigl(N(\mu,\sigma)\,\big\|\,N(\mu+\varepsilon,\sigma)\bigr)=\frac{\varepsilon^2}{2\sigma^2} $$
である。論文133 のフィッシャー計量は $g_{\mu\mu}=1/\sigma^2$ だから、$\frac12 g_{\mu\mu}\varepsilon^2$ と差はゼロ、近似ではなく厳密に一致する（本稿で確認）。（証明終）

検算 3.2（幅をずらす）：幅だけを $\varepsilon$ ずらすと $D$ は
$$ D=\frac{\varepsilon^2}{\sigma^2}-\frac{5\varepsilon^3}{3\sigma^3}+O(\varepsilon^4) $$
となる。本稿では、$\varepsilon=0$ で値も一階微分もゼロ、二階微分がちょうど $2/\sigma^2=g_{\sigma\sigma}$ であることを確認した。（証明終）

観察 3.3 （そして三次の項が非対称の正体である）　$-\frac{5\varepsilon^3}{3\sigma^3}$ は$\varepsilon$ の符号を変えると符号が変わる。二階までなら対称だが、三階から対称でなくなる。「大域では距離でないのに、無限小では距離である」という事態は、この項が作っている。

観察 3.4 （体系の中での位置）　論文133 はフィッシャー計量が正定値でありチェンツォフの意味で一意であることを書いた。本稿はその計量がどこから来たかを書いている。ダイバージェンスの二階微分である。

4. f-ダイバージェンスは、全部同じ計量に潰れる

検算 4.1：一つの事象の確率が $p=a$ から $q=a+e$ へずれたときの寄与を展開した。

四つとも $e^2/a$ の定数倍である。（証明終）

観察 4.2 （これが一意性の下地である）　大域的にはまったく違う四つの量が、無限小では同じ二次形式に潰れる。だからこそ「不変な計量はフィッシャー計量ただ一つ」（チェンツォフ・論文133）が成り立ちうる。一意性は、候補が最初から一つしかないことの言い換えである。

観察 4.3 （逆に言えば）　二次の係数を見ても、どのダイバージェンスかは分からない。定数倍の違いしか残らないからである。ダイバージェンスを選ぶ理由は、二次の外側にしかない。裾の重み付けと、最適化したときの答えの形である（第5節）。

5. 非対称は、分業である

検算 5.1（同じ目標、二つの答え）：平均 $-3$ と $+6$、幅 $1$ の正規分布の等混合を目標とし、単一の正規分布で近似した。

順方向は二つの山の中点に立ち、両方を覆うように広がる。逆方向は片方の山にぴったり重なる。（証明終）

観察 5.2 （なぜそうなるか）　$D(p\|q)=\sum p\log(p/q)$ において、$p$ が大きく $q$ が小さい場所には大きな罰が入る。順方向では $p$ が目標だから、目標が居るところで模型がゼロになることを許さない。ゆえに覆う。逆方向では $p$ が模型だから、模型が居るところで目標がゼロになることを許さない。ゆえに一つの山に潜る。

観察 5.3 （欠陥ではない）　非対称を「対称化して直すべき欠陥」と読むのは誤りである。二つの向きは別の問いに答えており、どちらを使うかは何をしたいかで決まる。対称化すれば、その区別が消える。論文95 が述べたとおり、規約であることと、どちらでもよいことは違う。

6. 熱力学では、余剰自由エネルギーである

観察 6.1　平衡分布を $p^{\rm eq}_i=e^{-E_i/k_BT}/Z$、平衡自由エネルギーを $F=-k_BT\log Z$ とすると、任意の分布 $p$ について
$$ \Bigl(\sum_i p_iE_i-k_BT\,S[p]/k_B\Bigr)-F=k_BT\,D(p\|p^{\rm eq}) $$
が成り立つ。非平衡分布の自由エネルギーは、平衡値を $k_BT$ かける相対エントロピーだけ超える。

観察 6.2 （第二法則との関係）　$D\ge0$ は自由エネルギーが平衡値より下がらないことを述べており、緩和の過程で $D$ が減ることが第二法則の一つの言い方である（論文88・136）。

観察 6.3 （単位について）　「情報」と「自由エネルギー」は、単位を変えただけの同じ量である。$k_BT$ を掛けるか掛けないか、対数の底を $2$ にするか $e$ にするか、どちらも規約である（論文131）。規約でないのは $D\ge0$ という一点である。

7. 結論

1. KL は距離ではない（検算2.1・2.2）。非対称であり、三角不等式が無作為な三点の $25.4\%$ で破れる。一語「距離」が二つの要求を含んでおり、KL は前者だけを満たす。
2. だが二階微分は計量である（検算3.1・3.2）。平均のずれでは$\frac12 g_{\mu\mu}\varepsilon^2$ と厳密に一致し、幅のずれでは二階微分がちょうど $g_{\sigma\sigma}$ になる（論文133）。
3. 非対称を作っているのは三次の項である（観察3.3）。$-\frac{5\varepsilon^3}{3\sigma^3}$ は符号を変える。二階までは対称、三階から非対称。
4. f-ダイバージェンスは全部同じ計量に潰れる（検算4.1）。KL $\frac{1}{2a}$、逆KL $\frac{1}{2a}$、$\chi^2$ $\frac{1}{a}$、ヘリンガー $\frac{1}{4a}$、定数倍しか違わない。これがチェンツォフの一意性の下地である。
5. 非対称は分業である（検算5.1）。順方向は平均 $1.50$・幅 $4.60$ で覆い、逆方向は平均 $-3.00$・幅 $1.00$ で一つの山に落ちる。対称化すればこの区別が消える。
6. 熱力学では余剰自由エネルギーである（観察6.1）。単位は規約、非負性は規約ではない（論文131・136）。

結び：「隔たり」という言い方が、測れるものと測れないものを一緒にしている。KL が測れるのは「同じかどうか」であって、「どちらが遠いか」の一貫した順序ではない。そして無限小まで縮めれば、どのダイバージェンスも同じ一つの計量になる。違いは、縮めなかったところにしかない。

参考文献

1. Kullback, S. & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22.
2. Csiszár, I. (1967). Information-type measures of difference of probability distributions and indirect observations. Studia Scientiarum Mathematicarum Hungarica, 2.
3. Chentsov, N. N. (1972). Statistical Decision Rules and Optimal Inference. Nauka (English translation: American Mathematical Society, 1982).
4. Amari, S. & Nagaoka, H. (2000). Methods of Information Geometry. American Mathematical Society.
5. Minka, T. (2005). Divergence measures and message passing. Microsoft Research Technical Report.
6. Cover, T. M. & Thomas, J. A. (2006). Elements of Information Theory, 2nd ed. Wiley.
7. 山岸勇輝 (2026). 等号は六つの別根を持つ [論文16] 第3版. Zenodo. 10.5281/zenodo.21600471
8. 山岸勇輝 (2026). 別根と言うのは半分である。住所を書け [論文17] 第3版. Zenodo. 10.5281/zenodo.21600813
9. 山岸勇輝 (2026). 二つのエントロピー [論文88]. Zenodo. 10.5281/zenodo.21747809
10. 山岸勇輝 (2026). フラクタル次元 [論文94]. Zenodo. 10.5281/zenodo.21758581
11. 山岸勇輝 (2026). 規約と事実 [論文95]. Zenodo. 10.5281/zenodo.21758621
12. 山岸勇輝 (2026). 過去仮説 [論文98]. Zenodo. 10.5281/zenodo.21758739
13. 山岸勇輝 (2026). 王道の点呼 [論文100]. Zenodo. 10.5281/zenodo.21758864
14. 山岸勇輝 (2026). ウィーナー・フィルタ [論文106]. Zenodo. 10.5281/zenodo.21836984
15. 山岸勇輝 (2026). 尺度不変性は四つの根を持つ [論文117]. Zenodo. 10.5281/zenodo.22005515
16. 山岸勇輝 (2026). $k_BT\ln2$ のうち、物理は $T$ だけである [論文131]. Zenodo. 10.5281/zenodo.22080240
17. 山岸勇輝 (2026). 伊藤の $2$ は、次元ではない [論文132]. Zenodo. 10.5281/zenodo.22080358
18. 山岸勇輝 (2026). フィッシャー計量が一意なのは、古典の側だけである [論文133]. Zenodo. 10.5281/zenodo.22080550
19. 山岸勇輝 (2026). 等式は厳密でも、平均は裾が握っている [論文136]. Zenodo. 10.5281/zenodo.22081230

作成にあたって：本稿の着想と内容は、著者自身の考察に基づくものです。文章の構成整理や英訳、数式の確認には AI（大規模言語モデル）の助力を得ました。最終的な内容の解釈や誤りがあれば、それらはすべて著者の責に帰します。お気づきの点があれば、ご教示いただければ幸いです。

書誌

山岸勇輝（2026）「KL は距離ではない。だが、その二階微分は計量である」［論文137］. Zenodo.
DOI: 10.5281/zenodo.22081369

@misc{yamagishi2026yoi137,
  author = {Yamagishi, Yuuki},
  title = {The KL Divergence Is Not a Distance, but Its Second Derivative Is a Metric},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/137},
  doi = {10.5281/zenodo.22081369},
  note = {Preprint, edition 1}
}