YOI 744：わざと当てはまりを悪くすると予測が良くなり、どれだけ縮めるかは信号の強さが決める

論文744 の記録のページです。住所（YOI）は https://www.yamagishiyuuki.com/yoi/744 で、論文の本文は下の PDF にあります。ファイルは自分で用意した置き場所（https://yamagishi.sakuraweb.com）に置き、日付の証拠（.ots）を添えています。Zenodo でも公開しています（DOI：10.5281/zenodo.23015104）。

本文のサイトの記事は、これから順に公開します。

@misc{yamagishi2026yoi744,
  author = {Yamagishi, Yuuki},
  title = {Fitting the Data Worse on Purpose Predicts Better, and How Far to Shrink Is Set by the Strength of the Signal},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/744},
  doi = {10.5281/zenodo.23015104},
  note = {Preprint, edition 1}
}

日付の証拠（OpenTimestamps）

2026年10月1日に、2 本の PDF の指紋（SHA-256）をまとめて OpenTimestamps に送り、ビットコインのブロック 969440・969456・969461 に記録されました（2026年10月01日 19:28（日本時間））。この .ots があれば、PDF がその時点で存在したことを、このサイトや運営者を信用しなくても、誰でも確かめられます。

書誌

要旨

手元のデータにいちばんよく合う係数が、新しいデータにいちばんよく当たるとは限らない。係数をわざと縮めると、予測は良くなりうる。どれだけ縮めればよいか、そしてどれだけ得をするかを、閉じた式とシミュレーションで数える。新しい定理も法則も主張しない。

第一に、縮めるほど訓練側では外れる。外れの項は $\lambda=5$・$50$・$500$ で $\mathbf{0.002268}$・$\mathbf{0.111111}$・$\mathbf{0.694444}$ と単調に増える（第2節）。

第二に、それでも予測は良くなる。予測の誤差は $\mathbf{0.500000}$ から $\lambda=50$ で $\mathbf{0.333333}$ まで下がり、$500$ では $\mathbf{0.708333}$ に戻る（第2節）。

第三に、これが本稿の芯である。最適な縮め方は、次元×雑音÷信号で決まる。信号 $1$ なら $\lambda=\mathbf{50.000000}$、信号 $10$ なら $\mathbf{5.000000}$（第3節）。

第四に、信号が弱いほど得が大きい。誤差は信号 $1$ で $\mathbf{0.666667}$ 倍、信号 $10$ では $\mathbf{0.952381}$ 倍にしか下がらない（第3節）。

第五に、シミュレーションが裏を取る。$20000$ 回で $\lambda=0$ が $\mathbf{0.499461}$、最適 $\lambda$ が $\mathbf{0.332937}$（第3節）。

第六に、分離子は、信号が雑音×次元÷標本数より強いか弱いかである。弱ければ大きく縮め、強ければほとんど縮めない（第4節）。

キーワード：正則化、リッジ回帰、係数の縮小、偏りと分散、信号と雑音の比、訓練と予測の逆向き

Abstract

The coefficients that fit the data at hand best need not predict new data best. Shrinking them on purpose can improve prediction.How far to shrink, and how much is gained, is counted by closed form and simulation.No new theorem or law is claimed.

First, shrinking makes the in-sample fit worse、the miss term rises monotonically: $\mathbf{0.002268}$, $\mathbf{0.111111}$ and $\mathbf{0.694444}$ at $\lambda=5$, $50$ and $500$ (Section 2).

Second, yet prediction improves、the prediction error falls from $\mathbf{0.500000}$ to $\mathbf{0.333333}$ at $\lambda=50$ and returns to $\mathbf{0.708333}$ at $500$ (Section 2).

Third, and this is the core. The best shrinkage is dimension times noise over signal、$\lambda=\mathbf{50.000000}$ at signal $1$ and $\mathbf{5.000000}$ at signal $10$ (Section 3).

Fourth, the weaker the signal, the larger the gain、the error falls to $\mathbf{0.666667}$ at signal $1$ but only to $\mathbf{0.952381}$ at signal $10$ (Section 3).

Fifth, simulation confirms it、over $20000$ runs, $\mathbf{0.499461}$ at $\lambda=0$ and $\mathbf{0.332937}$ at the best $\lambda$ (Section 3).

Sixth, the separator is whether the signal is stronger or weaker than noise times dimension over sample size、weak, shrink hard; strong, hardly at all (Section 4).

Keywords: regularisation, ridge regression, coefficient shrinkage, bias and variance, signal-to-noise ratio, fit and prediction moving apart

版の記録

ここの PDF（倉庫の v1）は第1版（2026年9月）の原稿から作りました。ファイルは版ごとに分けて置いています（/yoi/744/v1/ の下）。中身を直すときは、このファイルを書き換えず、新しい版を足します（住所 https://www.yamagishiyuuki.com/yoi/744 はいつも最新の版を指します）。Zenodo の記録とは、Zenodo に上げる前の改訂のぶんだけ違うことがあります。

YOI の一覧へ