---
title: 【人工知能・深層学習】論文紹介：You Only Need Less Attention at Each Stage in Vision Transformers
tags:  #論文紹介 #deeplearning #人工知能 #深層学習 #vision transformer  
author: [Taki lab.](https://convert.docswell.com/user/8328889256)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KJ49P6VY71.jpg?width=480
description: M2の増村さんが論文「You Only Need Less Attention at Each Stage in Vision Transformers(https://arxiv.org/abs/2406.00427)」の紹介を担当しました。本論文は、ViT(Vision Transformer)ベースのマルチタスク用バックボーンモデルの課題点である、計算コストの高さに焦点を当てています。同論文ではLess Attentionと呼ばれる、前層のAttention-mapを継承する構造を提案しており、これによって大幅なコスト削減とスコアの維持を実現したことを報告しています。
published: August 25, 24
canonical: https://convert.docswell.com/s/8328889256/ZL1LD3-2024-08-25-143800
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KJ49P6VY71.jpg)

論文紹介
You Only Need Less Attention at Each Stage in
Vision Transformers
ジャーナルクラブ(7月13日)
23VR007L 増村翔


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE1K9V3NJG.jpg)

論文概要
論文名
You Only Need Less Attention at Each Stage in Vision Transformers
研究分野概要
分類・物体検知・セグメンテーションの全タスクに対応した，
ViT型バックボーンモデルの作成
工夫点
attentionの計算を行わない,less-attentionの提案
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GEWDQLXMJ2.jpg)

研究背景：ViTの課題
課題1：ViT(self-attention)の深層化によるスコアの頭打ち=Attention-Collapse
ViTのblock数をある程度まで増やすと，
Attention-Mapの変化が起こりにくく
なっていく。
出典
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/47ZGWM6ME3.jpg)

研究背景：ViTの課題
課題2：feature-mapが低画質かつ入力と同サイズ
•
パッチサイズが大きいと物体検知や，セグメンテーションがうまくいかない．
R:ResNet
X:ResNext
CNNと異なり，attentionを通しても，
画像サイズが変わらないことも原因．
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YJ6YGN257V.jpg)

関連研究1：Pyramid Vision Transformer(PVT)
General用途のViTの構造一例
• 各ステージ毎にpatch-embeddingを行いダウンサンプリング．
• Patch-sizeがViTの比べて小さいため，パラメータサイズが大きい．
𝑝: 4 × 4
𝑝: 2 × 2
𝑝: 2 × 2
𝑝: 2 × 2
CNNと同様，
Feature-mapのサイズを
徐々に小さくしていく構造
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GJ5GV52GJ4.jpg)

補遺B：PVT関連
PVTでは，attention内での計算量削減を図っている(Spatial-Reduction Attention)．
𝐻𝑊
(𝐻𝑊, 𝐶)のmapを 𝑅2 , 𝐶𝑅2 にreshapeした後，
(𝐶𝑅2 , 𝐶)の行列𝑊 𝑆 を掛けることで，
𝐻𝑊
,𝐶
𝑅2
に
ダウンサンプリングしている．
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/9E2Y3N4DER.jpg)

関連研究2：RetinaNeT
ViTを用いたobject-detection
•
•
•
バックボーンモデルのFeature-mapをFPNに通した後に分類・回帰を行う．
バックボーンはImageNet等で分類用の事前学習を行う
深い層のfeature-mapをアップサンプリングして，足し上げる．
FPNの入力はバックボーンのfeature-map
クラス分類&amp;ボックス回帰
ViT等のバックボーンモデル(事前学習済み)
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/D7YG1PMM7M.jpg)

LaViT:アーキテクチャ
1. 各ステージの前半でself-attentionを行う(𝐿𝑉𝐴
𝑚 回)．
2. less-attentionでは前層のfeature-mapを線形変換して再利用(𝐿𝑚 − 𝐿𝑉𝐴
𝑚 回)．
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VENG25W3J8.jpg)

LaViT:アーキテクチャ
1. 各ステージの前半でself-attentionを行う(𝐿𝑉𝐴
𝑚 回)．
2. less-attentionでは前層のfeature-mapを線形変換して再利用(𝐿𝑚 − 𝐿𝑉𝐴
𝑚 回)．
𝑄𝐾 ⊤ 行列相当のもの
を承継
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y79W1YXP73.jpg)

LaViT:アーキテクチャ
異なるステージ間のless-attention
•
一部ステージは，less-attentionのみで構成されている．
→前ステージのfeature-mapをダウンサンプリングして承継する．
各ステージ内
のattention数
ダウンサンプリング方法
less-attention
数


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G78N462XJD.jpg)

LaViT:損失関数
less-attentionによる，feature-mapへの束縛条件
• self-attentionによって得られる，feature-mapの特性をless-attentionでも再現したい．
1.
対称行列(正確には対称ではない) 𝐴𝑖𝑗 = 𝐴𝑗𝑖
2.
対角成分の値が大きい 𝐴𝑖𝑖 &gt; 𝐴𝑖𝑗 ∀𝑗 ≠ 𝑖
Diagonality Preserving Loss


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L7LP692NJR.jpg)

LaViT:実験条件
分類
•
物体検知
データセット
•
ImageNet-1K
データセット(バックボーン)
セグメンテーション
• データセット(バックボーン)
ImageNet-1K
•
データセット
ImageNet-1K
• データセット
COCO2017
ADE20K
•
物体検知モデル
RetinaNet
•
評価指標
AveragePrecision(AP)
• 物体検知モデル
Semantic-FPN
評価指標
mean-IOU(m-IOU)


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EM45Z8QJW.jpg)

LaViTの性能：Classification
• 低パラメータでありながら，精度を保持．
• self-attention以外のattentionとの組み合わせにも有効
ImageNet-1kでのスコア
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PERW365KJ9.jpg)

LaViTの性能：Object-Detection
• 従来モデル(Swin-Transformer)と比較して，コスト減・スコア上昇
COCOによる物体検知スコア(バックボーンはImageNet-1k)
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/P7XP4MK5JX.jpg)

LaViTの性能：Segmentation
• 従来モデル(Swin-Transformer)と比較して，コスト減・スコア上昇
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/37KDZG5RED.jpg)

LaViTの性能：その他
対Attention-Collapse
•
18層(vanilla:14層,less:4層)のfeature-map類似度の低減(=多層化への対応)
•
•
特に，less-attentionではない層に対しても類似度の低下が見られる．
ViTによる分類モデルも，less-attentionよってトークンの類似度が下がる．
バックボーン型の類似度
分類モデルの類似度
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LJ3RDNKGE5.jpg)

LaViTの性能：その他
DP-lossの効果
• less-attentionに対してDP-lossを使わないと分類精度が下がる．
→線形変換によって，トークンの相関関係に関する情報が欠落？
ImageNet-1kのTop-1スコア


# Page. 18

![Page Image](https://bcdn.docswell.com/page/8JDYPW3NJG.jpg)

個人的に気になった点
• DP-lossの式は，feature-mapが大きいステージの配点が大きくなっている．
•
self-attentionに対して対称性の束縛条件をつけることの是非．
Diagonality Preserving Loss
・DP-lossの有無による，feature-mapの可視化


# Page. 19

![Page Image](https://bcdn.docswell.com/page/VEP6N94N78.jpg)



# Page. 20

![Page Image](https://bcdn.docswell.com/page/27V3KMXYJQ.jpg)

補遺A：DeepViT関連
Attention-CollapseをRe-Attention機構を用いて回避
MHSAで得られた𝑄𝐾 ⊤ 行列に対して，trainableな行列Θを掛けることで，
各head同士の情報を交換し，attention-mapに対して多様性を持たす．
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/5JG3QGVWEL.jpg)

補遺A：DeepViT関連
Attention-Mapの類似度指標
類似度はシンプルなコサイン類似度で表される．
ViTの各層に対する，
Attention-MapとのK-Nearestな類似度
20


# Page. 22

![Page Image](https://bcdn.docswell.com/page/47Q5KX6QEP.jpg)

補遺A：DeepViT関連
Attention-Mapの類似度指標
(ViT)同一ブロック内の異なるヘッド同士の類似度は，
どれも0.3を下回る．
これが，head情報の交換を行うDeepViT作成のきっかけ
となっている．
21


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KE49P64YJ1.jpg)

補遺B：PVT関連
PVTでは，Patch-embeddingによるダウンサンプリングの他に，attention内での計算量削
減を図っている(Spatial-Reduction Attention)．
𝐻𝑊
(𝐻𝑊, 𝐶)のmapを 𝑅2 , 𝐶𝑅2 にreshapeした後，
(𝐶𝑅2 , 𝐶)の行列𝑊 𝑆 を掛けることで，
𝐻𝑊
,𝐶
𝑅2
に
ダウンサンプリングしている．
22


# Page. 24

![Page Image](https://bcdn.docswell.com/page/L71K9V4NEG.jpg)

補遺C：Swin-Transformer関連
feature-map全体をwindowに分割した後，window毎にself-attentionを適用(計算コスト減)．
異なるwindowに属するpatchの相関関係を担保するため，windowをズラしている．
23


