YOI 706：バックテストの成績は、戦略の質ではなく、試した回数を測っている

論文706 の記録のページです。住所（YOI）は https://www.yamagishiyuuki.com/yoi/706 で、論文の本文は下の PDF にあります。ファイルは自分で用意した置き場所（https://yamagishi.sakuraweb.com）に置き、日付の証拠（.ots）を添えています。Zenodo でも公開しています（DOI：10.5281/zenodo.23014927）。

本文のサイトの記事は、これから順に公開します。

@misc{yamagishi2026yoi706,
  author = {Yamagishi, Yuuki},
  title = {A Backtest Measures Not the Quality of a Strategy but the Number of Attempts},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/706},
  doi = {10.5281/zenodo.23014927},
  note = {Preprint, edition 1}
}

日付の証拠（OpenTimestamps）

2026年10月1日に、2 本の PDF の指紋（SHA-256）をまとめて OpenTimestamps に送り、ビットコインのブロック 969440・969456・969461 に記録されました（2026年10月01日 19:28（日本時間））。この .ots があれば、PDF がその時点で存在したことを、このサイトや運営者を信用しなくても、誰でも確かめられます。

書誌

要旨

バックテストの成績は、その戦略がどれだけ良いかを示すものとして読まれる。だが実力がまったく無くても、たくさん試せば良い成績が必ず出てくる。何個試せばどれだけ出るのかを数える。新しい定理も法則も主張しない。

第一に、実力ゼロでも、成績はばらつく。$5$ 年の日次データで測った年率シャープレシオは、標準誤差 $\mathbf{0.447214}$ でばらつく（第2節）。

第二に、これが本稿の芯である。たくさん試して最良を取れば、必ず良い数字が出る。$N=1000$ 個試せば、実力ゼロでも最良は $\mathbf{1.449610}$ になる（第2節）。

第三に、要る試行数は、驚くほど少ない。最良が $1.0$ を超えるのに要るのは、わずか $\mathbf{49}$ 個である（第3節）。

第四に、増え方は、対数でしかない。$N=10$ で $\mathbf{0.688147}$、$N=100$ で $\mathbf{1.121425}$、$N=10000$ でも $\mathbf{1.722490}$ で、$1000$ 倍試しても $2.503086$ 倍にしかならない（第2節）。

第五に、二通りの出し方が一致する。数値積分の $1.449610$ に対し、乱数 $4000$ 回では $\mathbf{1.451801}$ で、差は $\mathbf{0.002191}$ である（第3節）。

第六に、分離子は、有効試行回数が報告されているかである。報告されていなければ、成績の数字は原理的に解釈できない（第4節）。

キーワード：バックテストの過適合、シャープレシオ、多重比較、最大値の期待値、有効試行回数、選択の偏り

Abstract

A backtest result is read as a measure of how good a strategy is. But with no skill at all, enough attempts always produce a good figure.How many attempts produce how much is counted here.No new theorem or law is claimed.

First, even with no skill the figure scatters、an annualised Sharpe ratio measured over five years of daily data scatters with a standard error of $\mathbf{0.447214}$ (Section 2).

Second, and this is the core. Taking the best of many always yields a good number、with $N=1000$ attempts, a strategy of no skill gives a best of $\mathbf{1.449610}$ (Section 2).

Third, the number of attempts required is startlingly small、reaching a best above $1.0$ takes only $\mathbf{49}$ (Section 3).

Fourth, the growth is only logarithmic、$\mathbf{0.688147}$ at $N=10$, $\mathbf{1.121425}$ at $N=100$ and $\mathbf{1.722490}$ even at $N=10000$: a thousandfold in attempts buys a factor of $2.503086$ (Section 2).

Fifth, two routes to the number agree、numerical integration gives $1.449610$ and $4000$ random trials give $\mathbf{1.451801}$, a difference of $\mathbf{0.002191}$ (Section 3).

Sixth, the separator is whether the effective number of attempts is reported、without it, the reported figure cannot be interpreted at all (Section 4).

Keywords: backtest overfitting, Sharpe ratio, multiple comparison, expected maximum, effective number of trials, selection bias

版の記録

ここの PDF（倉庫の v1）は第1版（2026年9月）の原稿から作りました。ファイルは版ごとに分けて置いています（/yoi/706/v1/ の下）。中身を直すときは、このファイルを書き換えず、新しい版を足します（住所 https://www.yamagishiyuuki.com/yoi/706 はいつも最新の版を指します）。Zenodo の記録とは、Zenodo に上げる前の改訂のぶんだけ違うことがあります。

YOI の一覧へ