---
title: 【人工知能・深層学習】論文紹介：Block-Recurrent Dynamics in Vision Transformers
tags:  #deeplearning #論文紹介 #深層学習 #人工知能 #vision transformer #looped transformer  
author: [Taki lab.](https://convert.docswell.com/user/8328889256)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LE31M44G75.jpg?width=480
description: 【学生の情報】：M2 倉沢真乃介  【対象論文】： Block-Recurrent Dynamics in Vision Transformers  【注意書き】：研究室内で発表に利用したものです。自分用のメモも兼ねていますので、情報が混みあっています。解釈に誤りがある可能性がありますので、ご参考いただく際はご注意ください。**資料の転用は禁止しております。**
published: February 09, 26
canonical: https://convert.docswell.com/s/8328889256/59MJYM-2026-02-09-192331
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LE31M44G75.jpg)

Block-Recurrent Dynamics in ViTs
ジャーナルクラブ（2026年2月7日）
倉沢 真乃介


# Page. 2

![Page Image](https://bcdn.docswell.com/page/8EDX6QQNJG.jpg)

ViTは，少数ブロックの反復として書き換えられる．
論文
Block-Recurrent Dynamics in ViTs.
Jacobs et al., ICLR 2026.
概要
・ViTを再帰構造として置き換えることが可能であることを示す．
・ViTのphase構造と再帰モデルの近似が， stochastic depthで強まることを示す．
・ViTの， (i) 方向収束と自己修正, (ii) token別ダイナミクス, (iii) 終盤の低ランク更新を示す．
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7PPYLLN78.jpg)

ViTの類似度傾向は，学習目的やモデル規模が異なる場合でも概ね一致．
自己教師
VLM
異モデル規模
layer–layer表現類似度行列に連続的なブロック（phase）構造が出現．
→ 深さは意味をなしているのか？
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2JV2GQQYJQ.jpg)

背景


# Page. 5

![Page Image](https://bcdn.docswell.com/page/5EGR8WWWJL.jpg)

ResNetの深さは，逐次計算ではない？
Residual Networks Behave Like Ensembles of Relatively Shallow Networks. 2016.
VGGは，ある層を削除すると全体の予測精度が大幅に劣化．
ResNetは，ほとんど変化せず．
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JQV933Q7P.jpg)

残差はアンサンブル！
Residual Networks Behave Like Ensembles of Relatively Shallow Networks. 2016.
残差は，無数の経路を形成し，アンサンブルとして機能．
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/K74MX11YJ1.jpg)

各ステージ内の層は，同じ潜在表現を推定しているのではないか？
HIGHWAY AND RESIDUAL NETWORKS LEARN UNROLLED ITERATIVE ESTIMATION. 2016.
各層の出力と潜在表現Aとの推定誤差の平均と分散を計算．
平均は0付近を推移し，分散は収束に向かう．
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LJ18NGGNEG.jpg)

ResNetは反復推定！
HIGHWAY AND RESIDUAL NETWORKS LEARN UNROLLED ITERATIVE ESTIMATION. 2016.
ResNetは，毎層で新しい表現を作るのではなく，同じ表現を反復で洗練させていく．
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJWZ4K5MJ2.jpg)

ResNetはRNN！
Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex. 2016.
各層で重み共有したResNetは，浅いRNNと等価．
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EZ12ZNM73.jpg)

重み共有ResNetと通常のResNetの精度はほぼ一致．
Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex. 2016.
ImageNet1kで実験．
パラメータ数は大きく削減しながらも，精度はほぼ同一．
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Y76LVZ85JV.jpg)

表現が似ていても、同じ計算とは限らない．
自己教師
VLM
異モデル規模
「表現の類似」 と 「機能の同値」 は別．
→ ViTもResNetのような再帰的な性質を持っているのか？
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/G751DW9GE4.jpg)

仮説： Block-Recurrent Hypothesis


# Page. 13

![Page Image](https://bcdn.docswell.com/page/9J218Q2D7R.jpg)

Block-Recurrent Hypothesis：少数ブロックの反復で成り立つ？
BRH：内部状態も含めて，少数ブロックの反復で近似が可能か？
近似可能？
𝑓ℓ
𝐵𝑘
× 𝑛𝑘
𝐵2
× 𝑛2
𝐵1
× 𝑛1
ℓ ∈ {1, ⋯ , L} ,
𝑓2
ℓ≫𝑘,
𝑘
𝑓1
ℓ = ෍ 𝑛𝑘 .
1
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/DEYZ6WYM7M.jpg)

Block-Recurrent Hypothesis：少数ブロックの反復で成り立つ？
BRH：内部状態も含めて，少数ブロックの反復で近似が可能か？
層の総数は一緒
𝑓ℓ
𝐵𝑘
× 𝑛𝑘
𝐵2
× 𝑛2
𝐵1
× 𝑛1
ℓ ∈ {1, ⋯ , L} ,
𝑓2
ℓ≫𝑘,
𝑘
𝑓1
ℓ = ෍ 𝑛𝑘 .
1
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJN3Z9P3J8.jpg)

Block-Recurrent Hypothesis：少数ブロックの反復で成り立つ？
Deep_Block
例：
Middle_Block
Shallow_Block
ブロック数：24
≫
× 13
×7
総反復数：24
×4
ブロック数：3
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YE99Z23PE3.jpg)

提案手法：Raptor・Max-cut


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GE8915MX7D.jpg)

Raptor（= ViTを少数ブロックの反復で模倣する蒸留モデル）を作成．
Raptorの中間特徴．
元モデルの中間特徴．
元モデルの各層の出力を目的とした蒸留で学習．
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LELWQY3NJR.jpg)

Phaseをどのように設定する必要があるのか？
Max-cutを用いる．
phase内の類似度が最大，phase外との類似度が最小になるような境界を設定．
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JM91NDQEW.jpg)

実験1：CIFAR100で小規模実験


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PJRGLD4KE9.jpg)

K=2でも十分な分類精度．
K=2 → 3で精度が大きく上昇．
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/PEXXW125EX.jpg)

Phaseで区切るのは正しいのか？
Random Shuffle：非連続にシャッフル反復．
Random Contiguous：連続にシャッフル反復．
Random Contiguous &gt; Random Shuffleより，
反復は連続に行う方が良い．
20


# Page. 22

![Page Image](https://bcdn.docswell.com/page/3EKWV2MRED.jpg)

Stochastic Depthが反復しやすさを促進．
全層に一様なstochastic depth(DropPath)をつけてViTを訓練．
21


# Page. 23

![Page Image](https://bcdn.docswell.com/page/L731M4YGJ5.jpg)

Stochastic Depthが反復しやすさを促進．
SD確率を上げると，Max-cut(赤線)が均等なブロック形状に移行．
22


# Page. 24

![Page Image](https://bcdn.docswell.com/page/87DX6Q5NEG.jpg)

Stochastic Depthが反復しやすさを促進．
SDを上げると，Max-cut(赤線)が均等なブロック形状に移行．
SDが上がると，Raptorの中間表現は教師ViTをより良く模倣．
23


# Page. 25

![Page Image](https://bcdn.docswell.com/page/VJPPYLGNJ8.jpg)

Stochastic Depthが反復しやすさを促進．
0.6までのSDの上昇は，ViT・Raptor共に精度が上昇．
24


# Page. 26

![Page Image](https://bcdn.docswell.com/page/2EV2GQ6YEQ.jpg)

実験2：DINOv2で大規模実験


# Page. 27

![Page Image](https://bcdn.docswell.com/page/57GR8WNWEL.jpg)

DINOv2のような，巨大モデルでも検証可能か？
Teacher Forcing→ Autoregressiveの2段階で学習．
26


# Page. 28

![Page Image](https://bcdn.docswell.com/page/4EQV93QQJP.jpg)

少数ブロック反復でも，DINOv2の約96%以上の精度を維持．
K=2 → 3で精度・DINOv2との類似度が大きく上昇し，4で飽和．
27


# Page. 29

![Page Image](https://bcdn.docswell.com/page/KJ4MX1NYE1.jpg)

下流タスクでの精度劣化は分類より大きい．
semantic segmentation(ADE20k)・depth estimation(NYUv2)では，
k=3→4の精度上昇がまだ見られる．
28


# Page. 30

![Page Image](https://bcdn.docswell.com/page/LE18NG5N7G.jpg)

Raptorは中間表現をある程度再現できている．
k=3以上の時，DINOv2のほとんどの層が揃っている．
初期層・最終層付近の一致が高く，中盤の一致度は下がる．
29


# Page. 31

![Page Image](https://bcdn.docswell.com/page/GEWZ4KWME2.jpg)

Phase内の入れ替えのみ，精度が維持される
DINOv2で実験．
pahse内で層を入れ替える時と，異phase間で層を入れ替えた時の精度変化．
30


# Page. 32

![Page Image](https://bcdn.docswell.com/page/47Z12Z5MJ3.jpg)

実験3：DINOv2(Giant)の観察


# Page. 33

![Page Image](https://bcdn.docswell.com/page/YJ6LVZ95EV.jpg)

トークンの角度は，最終層に向かって揃っていく．
トークンの角度は，最終層にむかって揃っていく．
32


# Page. 34

![Page Image](https://bcdn.docswell.com/page/GJ51DWNG74.jpg)

摂動を加えた後の修復は，patch/cls tokenで異なる．
各層地点で摂動を加え，最終表現が元とどれだけ異なるのかを計測．
Patch tokenは，浅層で摂動をると誤差が大きく，深層で加えた場合は小さくなる．
CLS tokenは，深層で摂動を加えると誤差が大きくなる．
33


# Page. 35

![Page Image](https://bcdn.docswell.com/page/LE31M42P75.jpg)

phase境界はダイナミクスの切り替え点として現れる．
トークン種別ごとに異なる挙動を示す．
phase境界と整合して切り替わりが生じる．
34


# Page. 36

![Page Image](https://bcdn.docswell.com/page/8EDX6QZ3JG.jpg)

終盤の更新は低ランク化し，patchは同じ方向へ動く．
浅層から中層で大きくなり，深層に向かってrankが小さくなる．
深層に向かってpatchの更新方向が揃っていく．
35


