---
title: Non Local Spatial Propagation Network for Depth Completion
tags: 
author: [モルフォ](https://convert.docswell.com/user/Morpho)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/57GYLMR17L.jpg?width=480
description: https://techblog.morphoinc.com/entry/2020/11/24/102829
published: November 24, 20
canonical: https://convert.docswell.com/s/Morpho/51R4Q8-20201124
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/57GYLMR17L.jpg)

Non-Local Spatial Propagation
Network for
Depth Completion
＜文献紹介＞
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4EQMYRVNJP.jpg)

Non-Local Spatial Propagation
概要
RGB画像とsparse depth mapからdense depth mapを直接推論
同時に出力した３枚の特徴マップでrefinement
の2段階構成をend-to-endに学習する
• 各ピクセルの「近傍系」を選択的に学習
• Refinement時の重みの無駄な正規化を抑制
• Confidenceのrefinementへの組み込み
により11月現在おそらく最高性能を達成（2020/7/20に投稿）
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/KJ4VW8M3E1.jpg)

Non-Local Spatial Propagation
結果
エッジ保存性が従来手法に比べて比較的良い
細い線などの細かいテクスチャも取れている
([1] Fig.6.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LE13Y28ZJG.jpg)

Non-Local Spatial Propagation
結果
([1] Table 1.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GEWPGRZ6J2.jpg)

Non-Local Spatial Propagation
手法
全体像は
初期depth推定 ⇒ Refinement
の２段構成
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
([1] Fig.2.)


# Page. 6

![Page Image](https://bcdn.docswell.com/page/47ZKLR1R73.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する
1. 各ピクセルの「近傍系」を選択的に学習
2. Refinement時の重みの無駄な正規化を抑制
3. Confidenceのrefinementへの組み込み
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/YJ6QWRL1JV.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する
1. 各ピクセルの「近傍系」を選択的に学習
2. Refinement時の重みの無駄な正規化を抑制
3. Confidenceのrefinementへの組み込み
が、その前にrefinementについて先に概説する
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJ5RM81L74.jpg)

Non-Local Spatial Propagation
手法
Refinementは下式を繰り返し適用することで行われる：
𝑡
𝑐
𝑡−1
𝑥𝑚,𝑛
= 𝑤𝑚,𝑛
𝑥𝑚,𝑛
෍
𝑖,𝑗 𝑡−1
𝑤𝑚,𝑛 𝑥𝑖,𝑗
𝑖,𝑗 ∈𝑁𝑚,𝑛
•
•
•
𝑥𝑚,𝑛 ：depth mapの(m, n)座標におけるdepth値
𝑖,𝑗
𝑤𝑚,𝑛 ：ピクセル𝑥𝑖,𝑗 が𝑥𝑚,𝑛 にもたらす重み
𝑁𝑚,𝑛 ：座標(m, n)の近傍
𝑖,𝑗
で、𝑤𝑚,𝑛 + σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 𝑤𝑚,𝑛 = 1 とする。𝑡はイテレータ
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/LE3PW81DJ5.jpg)

Non-Local Spatial Propagation
手法
Refinementは下式を繰り返し適用することで行われる：
𝑡
𝑐
𝑡−1
𝑥𝑚,𝑛
= 𝑤𝑚,𝑛
𝑥𝑚,𝑛
෍
𝑖,𝑗 𝑡−1
𝑤𝑚,𝑛 𝑥𝑖,𝑗
𝑖,𝑗 ∈𝑁𝑚,𝑛
•
•
•
𝑥𝑚,𝑛 ：depth mapの(m, n)座標におけるdepth値
𝑖,𝑗
𝑤𝑚,𝑛 ：ピクセル𝑥𝑖,𝑗 が𝑥𝑚,𝑛 にもたらす重み
𝑁𝑚,𝑛 ：座標(m, n)の近傍
この２つをrefinement前に
𝑖,𝑗
で、𝑤𝑚,𝑛 + σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 𝑤𝑚,𝑛 = 1 とする。𝑡はイテレータ。
学習で求める
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/8EDLKMX2JG.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する
1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ）
𝑖,𝑗
2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ）
3. Confidenceのrefinementへの組み込み
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/V7P2KRPL78.jpg)

Non-Local Spatial Propagation
手法
従来のrefinement手法では近傍画素の配置を固定にすると
境界付近で不要なピクセル情報を拾ってしまう
([1] Fig.3.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2JVDVR26JQ.jpg)

Non-Local Spatial Propagation
手法
従来のrefinement手法では近傍画素の配置を固定にすると
境界付近で不要なピクセル情報を拾ってしまう
そこで、近傍系の形を適応的に変形することを考える
([1] Fig.3.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/5EGYLMR2EL.jpg)

Non-Local Spatial Propagation
手法
座標(m, n)の近傍は以下で定める：
𝑁𝐿
𝑁𝑚,𝑛
= {𝑥𝑚+𝑝,𝑛+𝑞 | 𝑝, 𝑞 ∈ 𝑓φ 𝑰, 𝑫, 𝑚, 𝑛 , 𝑝, 𝑞 ∈ 𝑹}
φをパラメータとする「(m, n)
のK個の近傍」を返す関数
これを学習により求める
注目すべき点として、p, qは実数値
→サブピクセル精度で近傍探索が行われる！
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4JQMYRV97P.jpg)

Non-Local Spatial Propagation
手法
以下近傍を８個にした場合
カラー画像のエッジをうまく
とらえている
([1] Fig.8.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/K74VW8WRJ1.jpg)

Non-Local Spatial Propagation
手法
実はCNNの場合には元ネタが存在（[2], [3]）
• Deformable Convolutional Networks
([2] Fig.1.)
• Deformable ConvNets v2: More Deformable, Better Results
（上の論文のインターン生による改良版）
これら2つの論文では、convolutionのカーネルの形を動的に変
形（長方形でなく）することで物体形状の変化にロバストに対
応させることを提案している
これをカーネルではなくrefinementに援用したのがミソ
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LJ13Y2YV7G.jpg)

Non-Local Spatial Propagation
手法
実際に𝑓𝜑 がどう定義されるかの記述は存在しなかったが、
前述の論文を見る限りおそらく次の通り
Inputの注目画素
(m,n)を中心に
普通のconv.を
2N枚かける
2枚かけるごとに(m,n)の
近傍としてoffset vector
(p,q)が1つ定まる
得られたN個の近
傍でrefinementを
実行
([2] Fig.2.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GJWPGRG372.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する
1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ）
𝒊,𝒋
2. Refinement時の重みの無駄な正規化を抑制（ 𝒘𝒎,𝒏 ）
3. Confidenceのrefinementへの組み込み
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4EZKLRLGE3.jpg)

Non-Local Spatial Propagation
手法
Refinement時の重みについて以下の事実が知られている
（[4] Theorem 3）
⚫ Refinementが収束する十分条件は
𝑖,𝑗
σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | ≤ 1
ここでrefinementの式を思い出しておく
𝑡
𝑐
𝑡−1
𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛
෍
𝑖,𝑗 ∈𝑁𝑚,𝑛
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
𝑖,𝑗 𝑡−1
𝑤𝑚,𝑛 𝑥𝑖,𝑗


# Page. 19

![Page Image](https://bcdn.docswell.com/page/Y76QWRWQ7V.jpg)

Non-Local Spatial Propagation
手法
𝑖,𝑗
なので|𝑤𝑚,𝑛 |の合計が１を上回る場合には正規化処理が必要
しかし単純に以下のように合計値で割るのは問題がある
𝑖,𝑗
𝑤
ෝ𝑚,𝑛
𝑖,𝑗
𝑤𝑚,𝑛 =
𝑖,𝑗
σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤
ෝ𝑚,𝑛 |
𝑁𝑚,𝑛 = 2としてその理由を示す
𝑡
𝑐
𝑡−1
𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛
෍
𝑖,𝑗 ∈𝑁𝑚,𝑛
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
𝑖,𝑗 𝑡−1
𝑤𝑚,𝑛 𝑥𝑖,𝑗


# Page. 20

![Page Image](https://bcdn.docswell.com/page/G75RM8M2E4.jpg)

Non-Local Spatial Propagation
手法
𝑤1 , 𝑤2 の𝐿1 ノルムによる正規化した結果を図示すると、
( [1] Fig.4.)
このように枠線上に 𝑤1 , 𝑤2 が集中してしまい
𝑤1 , 𝑤2 の自由度（＝モデルの表現力）が減ってしまう
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/9J2D9K91JR.jpg)

Non-Local Spatial Propagation
手法
では𝐿1 ノルムが１を超えた時だけ正規化したらどうなのか？
→これも実は失敗する
正規化が発生する頻度がどの程度かを考えればよいが、
𝑤1 , 𝑤2 が独立に標準正規分布に従うとして同じく図示すると、
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/DEY24N44EM.jpg)

Non-Local Spatial Propagation
手法
( [1] Fig.4.)
大半が正規化されて端に寄っている
もし４変数にすると、９８％が端に位置する
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/VJN8YXY678.jpg)

Non-Local Spatial Propagation
手法
正規化しても自由度が減らないようスケール変換したい
→本論文では以下で解決
𝑖,𝑗
𝑖,𝑗
𝑤𝑚,𝑛 = tanh(𝑤
ෝ𝑚,𝑛 )/𝐶 ,
ここでKは変数の個数
𝑖,𝑗
これならσ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | ≤ 1
は常に成立するが果たして自由度は？
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
𝐶≥𝐾


# Page. 24

![Page Image](https://bcdn.docswell.com/page/YE9KP8PRE3.jpg)

Non-Local Spatial Propagation
手法
( [1] Fig.4.)
正規化後も端に寄りにくくなっている
すなわち、この方がモデルの表現力が高い
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GE8RD8DGJD.jpg)

Non-Local Spatial Propagation
手法
𝑖,𝑗
そこで σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | が１を超えたときのみtanhによる正規
化を行うことで表現力をできる限り高める
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/LELKMRMXJR.jpg)

Non-Local Spatial Propagation
手法
𝑖,𝑗
そこで σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | が１を超えたときのみtanhによる正規
化を行うことで表現力をできる限り高める
結果：
( [1] Fig.4.)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4JM2YRY3JW.jpg)

Non-Local Spatial Propagation
手法
一覧すると以下の通り
右端のグラフは 𝑤1, , 𝑤2 を複数生成したときに
正規化されるものの割合を示したもの
（青が単純な割り算、黄がtanhを使う方法）
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.4.)


# Page. 28

![Page Image](https://bcdn.docswell.com/page/PJRM9R9RE9.jpg)

Non-Local Spatial Propagation
手法
ところでtanhを使う場合には
𝑖,𝑗
𝑖,𝑗
𝑤𝑚,𝑛 = tanh(𝑤
ෝ𝑚,𝑛 )/𝐶
よりCを決める必要があった
→Cも学習で自動的に決定されるようにする
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/PEXVQRQY7X.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する。
1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ）
𝑖,𝑗
2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ）
3. Confidenceのrefinementへの組み込み
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 30

![Page Image](https://bcdn.docswell.com/page/3EKQ9R94ED.jpg)

Non-Local Spatial Propagation
手法
考察１，２では入力depthの誤測定が加味できていない
そこでinitial depth mapと同時にconfidence mapも推論させる
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.5.)


# Page. 31

![Page Image](https://bcdn.docswell.com/page/L73PW8WDE5.jpg)

Non-Local Spatial Propagation
手法
𝑖,𝑗
𝑖,𝑗
取得したconfidence、𝑐 ∈ [0, 1]はrefinement時の重み𝑤𝑚,𝑛 を
弱めるのに用いる
𝑖,𝑗
𝑖,𝑗
𝑖,𝑗
𝑤𝑚,𝑛 = 𝑐 ⋅ tanh(𝑤
ෝ𝑚,𝑛 )/𝛾
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.5.)


# Page. 32

![Page Image](https://bcdn.docswell.com/page/87DLKMK2EG.jpg)

Non-Local Spatial Propagation
手法
以下confidenceありなしで結果を比較
Depthの誤測定が修正されているのが分かる
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.5.)


# Page. 33

![Page Image](https://bcdn.docswell.com/page/VJP2KRKLJ8.jpg)

Non-Local Spatial Propagation
手法
以下３つのポイントを順に解説する
1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ）
𝑖,𝑗
2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ）
3. Confidenceのrefinementへの組み込み
最後に実際のネットワーク構造を確認する
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 34

![Page Image](https://bcdn.docswell.com/page/2EVDVRV6EQ.jpg)

Non-Local Spatial Propagation
手法
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.A.)


# Page. 35

![Page Image](https://bcdn.docswell.com/page/57GYLML27L.jpg)

Non-Local Spatial Propagation
手法
ロスは単純に入力時点でdepthが観測されたピクセルの集合
Vに対して
ここでρ = 1,2のどちらでもよいが、ρ = 1の方が一般に
エッジのキレが良いらしい
その他の中間出力に対してロスは定めない（データ取得が困難）
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 36

![Page Image](https://bcdn.docswell.com/page/4EQMYRY9JP.jpg)

Non-Local Spatial Propagation
考察
⚫ Initial estimation → refinementは効果が出る
⚫ Deformable convolutionがエッジ保存の肝か
⚫ Weight normalizationの効果は如何ほどか疑問
⚫ Confidence mapが実測できている場合には、ロスに組み込
めばさらに精度向上する？（スケール合わせが問題？）
 正規化の定数Cは学習データの傾向によって変動する模様
 使う環境が不定の場合は中々最適に決まらなそう
 入力がearly fusionなのは改善の余地ありか？
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


# Page. 37

![Page Image](https://bcdn.docswell.com/page/KJ4VW8ZRE1.jpg)

Non-Local Spatial Propagation
著者実装：https://github.com/zzangjinsun/NLSPN_ECCV20
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.
( [1] Fig.D.)


# Page. 38

![Page Image](https://bcdn.docswell.com/page/LE13Y2RVJG.jpg)

Non-Local Spatial Propagation
参考文献
[1] J. Park, K. Joo, Z. Hu, C.-K. Liu, and I. S. Kweon.: Nonlocal spatial propagation network for depth
completion. In: Proc. Of European Conference on Computer Vision (ECCV), 2020
[2] J. Dai, H. Qi, Y. Xiong, Y. Li, G. Zhang, H. Hu, and Y. Wei. Deformable convolutional networks. In
ICCV, 2017.
[3] Zhu, X., Hu, H., Lin, S., &amp; Dai, J. (2019). Deformable convnets V2: More deformable, better results.
Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
2019-June, 9300–9308. https://doi.org/10.1109/CVPR.2019.00953
[4] Liu, S., De Mello, S., Gu, J., Zhong, G., Yang, M.H., Kautz, J.: Learning affinity via spatial
propagation networks. In: Proc. of Advances in Neural Information Processing Systems (2017)
Copyright
AllAll
Rights
Reserved.
Copyright ©
©2020
2019Morpho,
Morpho,Inc.
Inc.
Rights
Reserved.


