Yamagishi Complexity Torus Lab | 山岸勇輝ラボ

論文137 の記録のページです。住所（YOI）は https://www.yamagishiyuuki.com/yoi/137 で、論文の本文は下の PDF にあります。ファイルは自分で用意した置き場所（https://yamagishi.sakuraweb.com）に置き、日付の証拠（.ots）を添えています。Zenodo でも公開しています（DOI：10.5281/zenodo.22081369）。

本文はサイトの記事でも読めます：【論文137】KL は距離ではない。だが、その二階微分は計量である

@misc{yamagishi2026yoi137,
  author = {Yamagishi, Yuuki},
  title = {The KL Divergence Is Not a Distance, but Its Second Derivative Is a Metric},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/137},
  doi = {10.5281/zenodo.22081369},
  note = {Preprint, edition 1}
}

日付の証拠（OpenTimestamps）

2026年10月1日に、2 本の PDF の指紋（SHA-256）をまとめて OpenTimestamps に送り、ビットコインのブロック 969390・969398・969440 に記録されました（2026年10月01日 12:43（日本時間））。この .ots があれば、PDF がその時点で存在したことを、このサイトや運営者を信用しなくても、誰でも確かめられます。

書誌

要旨

カルバック＝ライブラー・ダイバージェンス（相対エントロピー）は「二つの分布の隔たり」と説明される。本稿はそれが距離でないこと、それでも局所的には計量になること、そして非対称であることが働きであることを書く。新しい数学定理も新しい物理法則も主張しない。

第一に、距離ではない。非対称である（$0.2238$ 対 $0.1938$）だけでなく、三角不等式が破れる。三点を無作為に $20$ 万組取ると$25.4\%$ で破れた（第2節）。

第二に、これが本稿の芯の一つ。だが二階微分は計量である。正規分布族で平均を $\varepsilon$ ずらすと $D=\varepsilon^2/(2\sigma^2)$ となり、フィッシャー計量の半分 $\frac12 g_{\mu\mu}\varepsilon^2$ と厳密に一致する。幅をずらすと $D$ は一階で消え、二階微分がちょうど $g_{\sigma\sigma}=2/\sigma^2$ になる（論文133）。大域では距離でなく、無限小では距離である（第3節）。

第三に、これが本稿の芯のもう一つ。f-ダイバージェンスは全部同じ計量に潰れる。$p=a$、$q=a+e$ として展開すると、KL は $\frac{1}{2a}e^2$、逆KL も $\frac{1}{2a}e^2$、$\chi^2$ は $\frac{1}{a}e^2$、ヘリンガーの二乗は $\frac{1}{4a}e^2$、全部が同じ二次形式の定数倍である。だからこそチェンツォフの一意性が成り立ちうる（第4節）。

第四に、非対称は欠陥ではなく分業である。平均 $-3$ と $+6$ の等混合を単一の正規分布で近似すると、順方向 $D(\text{目標}\|\text{模型})$ は平均 $1.50$・幅 $4.60$ で両方の山を覆いにいき、逆方向 $D(\text{模型}\|\text{目標})$ は平均 $-3.00$・幅 $1.00$ で片方の山に落ちる（本稿で計算）。二つの向きは別の問いに答えている（第5節）。

第五に、熱力学では余剰自由エネルギーである。非平衡分布の自由エネルギーは、平衡値を $k_BT\,D(p\|p_{\rm eq})$ だけ超える。「情報」と「自由エネルギー」は単位を変えただけの同じ量である。単位は規約（論文131）、非負性は規約ではない（第6節）。

Abstract

The Kullback–Leibler divergence, the relative entropy, is described as a measure of how far apart two distributions are. This paper writes that it is not a distance, that it nevertheless is one infinitesimally, and that its asymmetry is doing work. NO NEW MATHEMATICAL THEOREM AND NO NEW PHYSICAL LAW IS CLAIMED.

First, it is not a distance. It is asymmetric ($0.223805$ against $0.193794$), and the triangle inequality fails: over $200{,}000$ random triples it failed in $25.4\%$ of cases (Section 2).

Second, one of the two cores. Its second derivative is a metric. Shifting the mean of a Gaussian family by $\varepsilon$ gives $D=\varepsilon^2/(2\sigma^2)$, which agrees exactly with half the Fisher metric, $\frac12 g_{\mu\mu}\varepsilon^2$. Shifting the width, $D$ vanishes to first order and its second derivative is exactly $g_{\sigma\sigma}=2/\sigma^2$ (Paper 133). Not a distance globally; a distance infinitesimally (Section 3).

Third, the other core. Every f-divergence collapses onto the same metric. Expanding with $p=a$ and $q=a+e$, KL gives $\frac{1}{2a}e^2$, reverse KL $\frac{1}{2a}e^2$, chi-squared $\frac{1}{a}e^2$ and squared Hellinger $\frac{1}{4a}e^2$: all the same quadratic form up to a constant. That is what makes Chentsov’s uniqueness possible at all (Section 4).

Fourth, the asymmetry is not a defect but a division of labour. Approximating an equal mixture of Gaussians at $-3$ and $+6$ by a single Gaussian, the forward direction $D(\text{target}\|\text{model})$ gives mean $1.50$ and width $4.60$, spreading to cover both modes, while the reverse direction $D(\text{model}\|\text{target})$ gives mean $-3.00$ and width $1.00$, collapsing onto one (computed here). The two directions answer different questions (Section 5).

Fifth, in thermodynamics it is the excess free energy. The free energy of a non-equilibrium distribution exceeds the equilibrium value by exactly $k_BT\,D(p\|p_{\rm eq})$. Information and free energy are the same quantity in different units、the units are a convention (Paper 131); the non-negativity is not (Section 6).

版の記録

ここの PDF（倉庫の v1）は第1版（2026年8月）の原稿から作りました。ファイルは版ごとに分けて置いています（/yoi/137/v1/ の下）。中身を直すときは、このファイルを書き換えず、新しい版を足します（住所 https://www.yamagishiyuuki.com/yoi/137 はいつも最新の版を指します）。Zenodo の記録とは、Zenodo に上げる前の改訂のぶんだけ違うことがあります。

YOI の一覧へ