Yamagishi Complexity Torus Lab | 山岸勇輝ラボ

要旨

「情報量」という一語が、少なくとも四つの別のものを指している。本稿はそれを点呼し、それぞれが「何を与えないと定義できないか」を書く。新しい数学定理も新しい法則も主張しない。

第一に、シャノンには分布が要る。同じ $200000$ 個の記号に三つの分布を当てると、$H$ は $\mathbf{1.253874709}$・$\mathbf{1.254310170}$・$\mathbf{2.000000000}$ ビットになった。記号は一つも変えていない（第2節）。

第二に、フォン・ノイマンには状態が要る。純粋状態 $|+\rangle$ と完全混合は、$z$ で測ると同じ $0.5$／$0.5$ を返すのに、$S$ は $\mathbf{0.000000000}$ と $\mathbf{1.000000000}$ ビットである。出てくる目からは決まらない（第3節）。

第三に、フィッシャーには族が要る。分布ではない。同じ標準正規分布を $N(\theta,1)$ に埋めると $\mathbf{1}$、$N(0,\sigma^2)$ に埋めると $\mathbf{2}$ である（数値で $1.000050$ と $1.998993$）（第4節）。

第四に、コルモゴロフには何も要らない。そして計算できない。円周率の $40000$ 桁は $\mathbf{257}$ バイトの自作プログラムで全部出るのに、最良の圧縮器は $17271$ バイト。その $\mathbf{67}$ 倍である（第5節）。

第五に、これが本稿の芯である。同じ一つの対象に、二つの「情報量」が正反対の判定を下す。円周率の桁は、シャノンでは $\mathbf{3.321837}$ ビット／桁（最大 $\log_2 10 = 3.321928$ のほぼ上限）、コルモゴロフでは $\mathbf{0.051400}$ ビット／桁以下。$65$ 倍の開きで、片方はほぼ最大、片方はほぼ最小である（第6節）。

第六に、並びが一直線である。分布を、状態を、族を。何かを与えねばならない三つは計算でき、何も与えなくてよい一つだけが計算できない（第7節）。

射程（何を示さないか）

新しい数学定理も新しい法則も主張しない。シャノンエントロピー、フォン・ノイマンエントロピー、フィッシャー情報量、コルモゴロフ複雑性、およびその計算不可能性（チャイティン）は、いずれも標準的である。アルゴリズム的情報理論を作らない。第5節がするのは上界を一つ実測して示すことだけである。圧縮器の比を $K$ の下界として使わない。圧縮器が縮められなかったことは「短く書けない」の証拠にならない（論文223 第7節）。円周率の桁が正規数であるとは主張しない。これは未解決問題であり、第6節のカイ二乗が言うのは「この検定には一様からのずれが見えない」までである。「四つで全部だ」とは主張しない。レニー、ツァリス、相互情報量、フィッシャー情報行列、最小記述長など、名前はいくらでも増える。どれが「正しい情報量」かを判定しない。書けるのは、それぞれが何を要求しているかまでである。相互情報量と条件付きエントロピーを扱わない。論文162 の領分である。量子情報理論を作らない。第3節が使うのは $2\times 2$ の密度行列二つだけである。第7節の並びを法則として主張しない。四点の観察であって、定理ではない。既刊との関係：論文223 は「検定を全部通っても短く書ける列がある」を示し、$K$ の計算不可能性まで書いた。本稿はその再演をせず、223 を引いたうえでその計算不可能性が点呼のどこに座るかだけを加える。論文133 はフィッシャー計量の一意性が古典側の話だと示し、論文137 は KL の二階微分が計量になると示した。本稿の第4節は計量ではなく、族を与えないと数が決まらないという一点に絞る。論文162 は全体が部分より知られていないことがあると示した。本稿の第3節は一体の状態しか使わず、その先には進まない。論文88 は二つのエントロピーの二重計上を戒めた。あちらは物理量、こちらは語の点呼であり、軸が違う。論文248 はデーモンの代価が五つの場所に置かれたことを示し、論文164 は「確率」を四つの住所に分けた。本稿は同じ形の点呼を「情報量」に対して行う。論文163 は存在と構成が別の文だと示した。第7節の非対称はその親戚である。加えたのは四つを「何を与えないと定義できないか」で並べたこと、同じ標準正規分布から $1$ と $2$ を出したこと、同じ統計から $S=0$ と $S=1$ を出したこと、同じ一つの対象に二つの情報量が正反対の判定を下すことを数で示したことである。

1. 記法と位置づけ

設定：「情報量」と呼ばれる量は一つではない。本稿が扱うのは四つである。シャノンエントロピー $H$、フォン・ノイマンエントロピー $S$、フィッシャー情報量 $I$、コルモゴロフ複雑性 $K$。

問い：これらを分けているものは何か。単位ではない。四つとも「ビット」で書ける（$I$ を除く）。大小でもない。同じ対象で大きくも小さくもなる（第6節）。

本稿の分離子は「何を与えないと定義できないか」である。対象だけを渡されて、それぞれの量を計算せよと言われたとき、何が足りないと言い返すことになるかを書く。

本稿はどれが「正しい情報量」かを判定しない。四つとも、自分が要求するものを与えられれば正しく答える。

2. シャノン：分布を与えないと定義できない

定義：確率分布 $p$ に対し $H(p) = -\sum_i p_i\log_2 p_i$。$H$ の引数は分布であって、データではない。

検算 2.1：四文字の記号列を $200000$ 個生成し、その一つの列を動かさないまま、三つの分布を当てて $H$ を計算する。

観察 2.2　記号は一つも変わっていない。変えたのは仮定した分布だけである。$H$ が測っているのは列ではなく、列に当てた分布である。

観察 2.3　「このファイルのエントロピーは何ビットか」という問いは、そのままでは答えを持たない。答が出るのはどの分布を当てるかを決めた後であり、経験分布を使うという選択も、一つの選択である。

3. フォン・ノイマン：状態を与えないと定義できない（統計ではなく）

定義：密度行列 $\rho$ に対し $S(\rho) = -\mathrm{tr} \rho\log_2\rho$。引数は状態であって、測定結果の統計ではない。

検算 3.1：二つの状態を用意する。純粋状態 $|+\rangle$（すなわち $\rho = |{+}\rangle\langle{+}|$）と、完全混合 $\rho = I/2$ である。どちらも $z$ 方向で測ると、上と下が半々で出る。

観察 3.2　出てくる目は同じで、$S$ は $0$ と $1$ である。$z$ の統計だけを渡された者は、$S$ を計算できない。

観察 3.3　見分ける手はある。$x$ 方向で測ればよい。純粋状態は確定に $+$ を返し、完全混合は半々を返す。だが「$z$ の統計」という与えられ方では足りない、というのが要点である。$S$ が要求しているのは状態そのものであって、一つの基底での確率分布ではない。

観察 3.4　これはシャノンとの差でもある。$z$ の統計 $(0.5,0.5)$ に $H$ を当てれば、どちらも $1$ ビットである。シャノンは二つを区別できない。同じ問いに、二つの量が違う答を返す。

4. フィッシャー：族を与えないと定義できない（分布ではなく）

定義：径数 $\theta$ で添字づけられた分布の族 $f(x;\theta)$ に対し、$I(\theta) = E\!\left[(\partial_\theta\log f)^2\right]$。引数は族であって、その中の一つの分布ではない。

検算 4.1：分布を一つ固定する。標準正規分布 $N(0,1)$ である。これを二つの族に埋め込む。

観察 4.2　分布は同じ一つである。違うのは径数のつけ方だけであり、それだけで $I$ が $1$ にも $2$ にもなる。

観察 4.3　したがって「この分布のフィッシャー情報量」という言い方は、そのままでは意味を持たない。意味を持つのは「この族の、この点での」フィッシャー情報量である。

観察 4.4　論文133 はフィッシャー計量の一意性が古典側の話だと示し、論文137 は KL の二階微分が計量になると示した。本稿はそこには入らない。計量になるかどうか以前に、族を与えないと数が決まらないという一点だけを取る。

5. コルモゴロフ：何も与えなくてよい。そして計算できない

定義：有限列 $x$ に対し、$K(x)$ は$x$ を出力するプログラムの最短の長さである。分布も、状態も、族も要らない。列そのものだけで定まる（記述言語の選び方による差は加法定数に収まる）。

検算 5.1：円周率の十進 $40000$ 桁を取る。外部ライブラリを使わない自作の桁生成プログラム（無限スピゴット、Gibbons $2006$）を書き、その長さを測った。$\mathbf{257}$ バイトであった。先頭 $3000$ 桁を実際に走らせて照合し、完全一致を確認している。

検算 5.2：同じ $40000$ 桁と、同じ長さの擬似乱数の桁を、三つの汎用圧縮器にかける。

観察 5.3　bz2 は差がちょうど $0$ バイトであった。三つとも、円周率の桁と乱数の桁を見分けていない。

観察 5.4　ところが実体は $257$ バイトである。十進 $40000$ 桁を素朴に詰めた下限が $16610$ バイト、最良の圧縮器が $17271$ バイト：プログラムの $67$ 倍である。

観察 5.5　この非対称は論文223 が既に一般形で書いた。短いプログラムを一つ示せば上界は得られるが、下界はそうはいかない。$K$ は計算不可能である（チャイティン）。本稿が加えるのは、この事実そのものではなく、それが点呼のどこに座るかである（第7節）。

6. 芯：同じ一つの対象に、二つが正反対の判定を下す

設定：対象を一つに固定する。円周率の十進 $40000$ 桁である。この一つの列に、$H$ と $K$ を当てる。

検算 6.1：数字の出現回数を数える。

カイ二乗は $5.0495$（自由度 $9$）である。一様からのずれは、この検定には見えない。

検算 6.2：二つの量を、同じ単位（ビット／桁）で並べる。

観察 6.3　開きは $\mathbf{65}$ 倍である。同じ一つの列に、シャノンは「ほぼ最大」、コルモゴロフは「ほぼ最小」と言う。

観察 6.4　どちらも間違っていない。$H$ は当てた分布についての量であり、桁の分布は実際に一様に近い。$K$ は対象そのものについての量であり、この列は実際に短く書ける。測っているものが違うのだから、答が逆を向いても矛盾ではない。

観察 6.5　ゆえに「情報量が大きい」という一文は、どちらの意味かを言わないかぎり内容を持たない。円周率の桁について、それは真でも偽でもある。

観察 6.6　なお本稿は円周率の桁が正規数だとは主張しない。これは未解決問題である。検算 6.1 が言うのは「この検定には一様からのずれが見えない」までであり、$H$ が最大に近いこと自体、検定の限界の内側の話である。

7. 点呼表：何を与えないと定義できないか

観察 7.1　表の右二列が、一直線に並んでいる。何かを与えねばならない三つは計算でき、何も与えなくてよい一つだけが計算できない。

観察 7.2　理由は言える。与えるものがあるということは、その量が、有限に与えられたものの関数だということである。分布の、状態の、族の関数であり、だから計算できる。$K$ に与えるものが無いのは、$K$ が「すべてのプログラム」を渡り歩いて最小を取るからであり、その渡り歩きが計算を止める。何も要求しないという長所と、計算できないという短所は、同じ一つの事実である。

観察 7.3　四点は法則ではない。これは並びの観察であって、「何も要らない量は必ず計算できない」を証明していない。言えるのは、四つの点呼でその並びが崩れなかった、までである。

観察 7.4　論文163 は「良い符号が在る」と「これが良い符号だ」が別の文だと示した。第5節の非対称。上界は示せるが下界は示せない。はその親戚である。存在の証明と構成の提示が別であるように、上界の提示と下界の証明も別であり、$K$ では後者が原理的に閉じている。

8. この点呼が効く場所

観察 8.1　「情報量」を含む主張を読むとき、確かめるのは一つである。何が与えられているか。分布が与えられていればシャノン、状態ならフォン・ノイマン、族ならフィッシャー、何も無ければコルモゴロフである。与えられていないものを要求する量が使われていたら、そこに隙間がある。

観察 8.2　とくに危ないのは、経験分布を当てておいて、対象そのものについて語ることである。第6節がその実例になっている。円周率の桁の経験分布は一様に近く、$H$ は最大に近い。そこから「この列はランダムだ」と続けると、$H$ の管轄を出ている。

観察 8.3　論文248 は「デーモンの代価」が五つの場所に置かれたことを示した。あの五つのうち、シラードとブリユアンは測定の側に、ランダウアーとベネットは消去の側に代価を置いた。どちらもシャノンの管轄であり、分布を与えて話している。本稿の点呼は、その議論全体が四つのうちの一つの中で起きていたことを示す。

9. 点呼と結び

1. シャノンには分布が要る（検算 2.1）：同じ列に三つの分布で $1.253874709$／$1.254310170$／$2.000000000$。
2. フォン・ノイマンには状態が要る（検算 3.1）：同じ $z$ の目で $S=0$ と $S=1$。
3. フィッシャーには族が要る（検算 4.1）：同じ $N(0,1)$ で $I=1$ と $I=2$。
4. コルモゴロフには何も要らない（検算 5.1）：$257$ バイトのプログラム。
5. そして計算できない（観察 5.5）：上界は示せ、下界は示せない。
6. 同じ対象に正反対の判定（検算 6.2）：$3.321837$ と $\le 0.051400$、$65$ 倍。
7. 並びは一直線（観察 7.1）：要るものがある三つは計算でき、無い一つは計算できない。

結び：四つとも「情報量」と呼ばれるが、たがいに何を測っているかを知らない。同じ対象に当てれば、片方が「ほぼ最大」と言い、もう片方が「ほぼ最小」と言う。それでもどちらも正しい。管轄が違うからである。分けるものは一つ、何を与えないと定義できないかである。そして与えるものが無い一つだけが、定義できるのに計算できない。何も要求しないことと、決して答が出ないことは、同じ一つの性質の表と裏であった。

改訂記録

第2版（2026年9月）：主張・定理・検算はいずれも第1版から変更していない。英語版の参考文献で、本体系の既刊を引く行の題名が日本語のまま残っていたので、英語の題名に直した。内容に関わる変更は無く、撤回した内容も無い。

本文の区切りに使っていた横棒を、句読点に改めた（2026年10月）。主張・数・参考文献は変えていない。

参考文献

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27, 379-423 and 623-656.
2. Cover, T. M., Thomas, J. A. (2006). Elements of Information Theory, 2nd edition. Hoboken: Wiley.
3. Kolmogorov, A. N. (1965). Three Approaches to the Quantitative Definition of Information. Problems of Information Transmission, 1(1), 1-7.
4. Chaitin, G. J. (1975). A Theory of Program Size Formally Identical to Information Theory. Journal of the ACM, 22(3), 329-340.
5. Li, M., Vitanyi, P. (2019). An Introduction to Kolmogorov Complexity and Its Applications, 4th edition. Cham: Springer.
6. Nielsen, M. A., Chuang, I. L. (2010). Quantum Computation and Quantum Information. Cambridge: Cambridge University Press.
7. Amari, S., Nagaoka, H. (2000). Methods of Information Geometry. Providence: American Mathematical Society.
8. Gibbons, J. (2006). Unbounded Spigot Algorithms for the Digits of Pi. American Mathematical Monthly, 113(4).
9. 山岸勇輝 (2026). 二つのエントロピーを混同しない [論文88]. Zenodo. 10.5281/zenodo.21747809
10. 山岸勇輝 (2026). フィッシャー計量が一意なのは、古典の側だけである [論文133]. Zenodo. 10.5281/zenodo.22080550
11. 山岸勇輝 (2026). KL は距離ではない。だが、その二階微分は計量である [論文137]. Zenodo. 10.5281/zenodo.22081369
12. 山岸勇輝 (2026). 全体のほうが、部分より知られていないことがある [論文162]. Zenodo. 10.5281/zenodo.22092568
13. 山岸勇輝 (2026). 「良い符号が在る」と「これが良い符号だ」は、別の文である [論文163]. Zenodo. 10.5281/zenodo.22092677
14. 山岸勇輝 (2026). 「確率」は四つの住所を持つ [論文164]. Zenodo. 10.5281/zenodo.22092815
15. 山岸勇輝 (2026). 「独立」は四つあり、たがいに何も言わない [論文220]. Zenodo. 10.5281/zenodo.22119838
16. 山岸勇輝 (2026). 検定を全部通り、それでも点は十五枚の平面に乗っている [論文223]. Zenodo. 10.5281/zenodo.22120728
17. 山岸勇輝 (2026). 「デーモンの代価」は、五人が五つの場所に置いた [論文248]. Zenodo. 10.5281/zenodo.22160169

作成にあたって：本稿の着想と内容は、著者自身の考察に基づくものです。文章の構成整理や英訳、数式の確認には AI（大規模言語モデル）の助力を得ました。最終的な内容の解釈や誤りがあれば、それらはすべて著者の責に帰します。お気づきの点があれば、ご教示いただければ幸いです。

書誌

山岸勇輝（2026）「「情報量」は四つあり、要るものが違う」［論文252］. Zenodo.
DOI: 10.5281/zenodo.22161148

@misc{yamagishi2026yoi252,
  author = {Yamagishi, Yuuki},
  title = {Information Is Four Quantities, and They Need Different Things},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/252},
  doi = {10.5281/zenodo.22161148},
  note = {Preprint, edition 2}
}