Yamagishi Complexity Torus Lab | 山岸勇輝ラボ

論文873 の記録のページです。住所（YOI）は https://www.yamagishiyuuki.com/yoi/873 で、論文の本文は下の PDF にあります。ファイルは自分で用意した置き場所（https://yamagishi.sakuraweb.com）に置き、日付の証拠（.ots）を添えています。

本文はサイトの記事でも読めます（2026年10月7日 13:50 に公開します）。

@misc{yamagishi2026yoi873,
  author = {Yamagishi, Yuuki},
  title = {Which Way of Exploring Is Better Is Decided Not by the Loss at One Moment but by How the Loss Grows},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/873},
  note = {Preprint, edition 1}
}

日付の証拠（OpenTimestamps）

2026年10月1日に、2 本の PDF の指紋（SHA-256）をまとめて OpenTimestamps に送り、ビットコインのブロック 969440・969456・969461 に記録されました（2026年10月01日 19:28（日本時間））。この .ots があれば、PDF がその時点で存在したことを、このサイトや運営者を信用しなくても、誰でも確かめられます。

書誌

要旨

どの探し方が良いかは、同じ回数だけ引いて損を比べればわかる、と思いやすい。本稿は、比べる回数を十倍ずつ伸ばすと勝ち負けが入れ替わることを、三本の腕で数える。新しい定理も法則も主張しない。

第一に、一万回では、決まった割合で探す方法が勝つ。損は割合 $0.1$ で探す方法が $122.396667$、試した回数の少ない腕に上乗せする UCB が $145.970000$ である（第2節）。

第二に、これが本稿の芯である。十万回では入れ替わる。損は $1023.296667$ と $266.916667$ で、決まった割合で探す方法が UCB の $\mathbf{3.833768}$ 倍になる（第2節）。

第三に、入れ替わりを決めるのは損の伸び方である。十倍ごとの伸びは、UCB では $5.982350$・$3.151112$・$\mathbf{1.828572}$ 倍と縮み、決まった割合で探す方法では $4.345181$・$5.090670$・$8.360495$ 倍と上がる（第3節）。

第四に、探すのをやめると、損は時間に比例して積もる。最初に一回ずつ引いて後は平均の高い腕だけを引くと、$30$ 回中 $10$ 回は最良でない腕に居着き、十倍ごとの伸びは $9.914480$ 倍、十万回の損は $5004.796667$ である（第3節）。

第五に、決まった割合で探し続けても、損は時間に比例して積もる。最良の腕を見つけたあとも $0.1$ の割合で他の腕を引き続けるので、伸びは時間に比例する $10$ 倍へ上がっていく（第3節）。

第六に、分離子は、ある回数での損を比べるか、十倍ごとの伸びを比べるかである。ある回数での比較は、その回数を選んだ時点で勝者を決めてしまう（第4節）。

キーワード：多腕バンディット、UCB、ε貪欲、損、探索と活用

Abstract

It is easy to assume that pulling each method the same number of times and comparing losses shows which way of exploring is better.This paper counts, with three arms, that the winner switches as the number of pulls is raised tenfold.No new theorem or law is claimed.

First, at ten thousand pulls, fixed-rate exploration wins: exploring at rate $0.1$ loses $122.396667$, and UCB, which adds a bonus to less-tried arms, loses $145.970000$ (Section 2).

Second, and this is the core. At a hundred thousand pulls they switch: the losses are $1023.296667$ and $266.916667$, with fixed-rate exploration losing $\mathbf{3.833768}$ times as much as UCB (Section 2).

Third, the switch is decided by how the loss grows: per tenfold increase, UCB’s loss grows by $5.982350$, $3.151112$ and $\mathbf{1.828572}$, shrinking, while fixed-rate exploration’s grows by $4.345181$, $5.090670$ and $8.360495$, rising (Section 3).

Fourth, stopping exploration makes the loss grow in proportion to time: pulling each arm once and then only the best average leaves $10$ of $30$ runs stuck on a non-best arm, grows by $9.914480$ per tenfold, and loses $5004.796667$ over a hundred thousand pulls (Section 3).

Fifth, exploring at a fixed rate also grows in proportion to time: even after finding the best arm it keeps pulling others at rate $0.1$, so its growth rises toward the $10$ of proportional growth (Section 3).

Sixth, the separator is whether one compares the loss at a chosen number of pulls or its growth per tenfold increase: comparing at one number of pulls decides the winner the moment that number is chosen (Section 4).

Keywords: multi-armed bandit, UCB, epsilon-greedy, regret, exploration and exploitation

版の記録

ここの PDF（倉庫の v1）は第1版（2026年9月）の原稿から作りました。ファイルは版ごとに分けて置いています（/yoi/873/v1/ の下）。中身を直すときは、このファイルを書き換えず、新しい版を足します（住所 https://www.yamagishiyuuki.com/yoi/873 はいつも最新の版を指します）。

YOI の一覧へ