YOI 745：線形の層は何枚重ねても一枚と厳密に同じで、折れ曲がりを一つ挟むと層ごとに区間が倍になる

論文745 の記録のページです。住所（YOI）は https://www.yamagishiyuuki.com/yoi/745 で、論文の本文は下の PDF にあります。ファイルは自分で用意した置き場所（https://yamagishi.sakuraweb.com）に置き、日付の証拠（.ots）を添えています。Zenodo でも公開しています（DOI：10.5281/zenodo.23015106）。

本文のサイトの記事は、これから順に公開します。

@misc{yamagishi2026yoi745,
  author = {Yamagishi, Yuuki},
  title = {Linear Layers Stacked Any Number Deep Are Exactly One Layer, and One Bend Between Them Doubles the Pieces at Every Layer},
  year = {2026},
  howpublished = {YOI: https://www.yamagishiyuuki.com/yoi/745},
  doi = {10.5281/zenodo.23015106},
  note = {Preprint, edition 1}
}

日付の証拠（OpenTimestamps）

2026年10月1日に、2 本の PDF の指紋（SHA-256）をまとめて OpenTimestamps に送り、ビットコインのブロック 969440・969456・969461 に記録されました（2026年10月01日 19:28（日本時間））。この .ots があれば、PDF がその時点で存在したことを、このサイトや運営者を信用しなくても、誰でも確かめられます。

書誌

要旨

層を深くすると表せるものが増える、と言われる。それは層のあいだに折れ曲がりがあるときだけ正しい。深さが無の効きになる場合と指数の効きになる場合を、同じ部品で並べる。新しい定理も法則も主張しない。

第一に、線形の層は何枚重ねても一枚である。三層とその積の一層で、出力の相対差は最大 $5.192\times10^{-15}$（第2節）。

第二に、だから直線で作れないものは、深くしても作れない。$|x|$ を最良の直線で近似すると平均二乗誤差 $\mathbf{0.083342}$ が残る（第2節）。

第三に、折れ曲がりを二つ使えば、同じものが厳密に作れる。ReLU 二つで $|x|$ の誤差は $0$（第2節）。

第四に、これが本稿の芯である。折れ曲がりがあると、深さは指数で効く。テント写像を $L$ 回合成すると区間は $2^{L}$、$L=10$ で $1024$（第3節）。

第五に、浅く作ると素子が桁で要る。同じ $1024$ 区間を、深さなら ReLU $20$ 個、一層なら $1023$ 個、$\mathbf{51.150000}$ 倍（第3節）。

第六に、分離子は、層のあいだに ReLU のような非線形を挟むかどうかである。深さの値打ちは $0$ か指数かに分かれ、その間は無い（第4節）。

キーワード：活性化関数、ReLU、線形写像の合成、区分線形、深さと表現力、非線形の有無

Abstract

Deeper networks are said to represent more. That is true only when something bends between the layers.The cases where depth is worth nothing and where it is worth an exponential are set side by side with the same parts.No new theorem or law is claimed.

First, linear layers stacked are one layer、three layers against their product: a largest relative difference of $5.192\times10^{-15}$ (Section 2).

Second, what a line cannot make, depth cannot make、the best line fit to $|x|$ leaves a mean squared error of $\mathbf{0.083342}$ (Section 2).

Third, two bends make it exactly、two ReLUs give $|x|$ with error $0$ (Section 2).

Fourth, and this is the core. With bends, depth acts exponentially、composing the tent map $L$ times gives $2^{L}$ pieces, $1024$ at $L=10$ (Section 3).

Fifth, a shallow build needs units by orders、the same $1024$ pieces take $20$ ReLUs in depth and $1023$ in one layer, a factor of $\mathbf{51.150000}$ (Section 3).

Sixth, the separator is whether a nonlinearity such as ReLU sits between the layers、the value of depth splits into zero or exponential, with nothing between (Section 4).

Keywords: activation function, ReLU, composition of linear maps, piecewise linear, depth and expressiveness, presence of a nonlinearity

版の記録

ここの PDF（倉庫の v1）は第1版（2026年9月）の原稿から作りました。ファイルは版ごとに分けて置いています（/yoi/745/v1/ の下）。中身を直すときは、このファイルを書き換えず、新しい版を足します（住所 https://www.yamagishiyuuki.com/yoi/745 はいつも最新の版を指します）。Zenodo の記録とは、Zenodo に上げる前の改訂のぶんだけ違うことがあります。

YOI の一覧へ