Step
01
/
16
Loading Step...
STEP 1 of 16
LN（レイヤー正規化）配置の比較:
Interactive Canvas
FORWARD PASS
💡観点（ここをチェック！）
プレーンネットワークでは、層を通過するごとに伝播パルス（信号）が弱くなり、左側の層（入力付近）にたどり着く頃には、完全に勾配がゼロになってしまいます。
⚙️シミュレータパラメータ調整
Plain 勾配: 1.2e-4
ResNet 勾配: 1.02
50 Layers
層の数が深くなればなるほど、Plainの勾配消失は壊滅的になります。
0.92
各活性化関数や畳み込み層の偏微分の実効倍率。1.0未満は消失、1.0より大は爆発。