---
title: 【拡散モデル勉強会】diffusion policyとそのnavigation応用
tags: 
author: [Deep Learning JP](https://convert.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YJ6Y18RP7V.jpg?width=480
description: 【拡散モデル勉強会】diffusion policyとそのnavigation応用 by Deep Learning JP
published: April 23, 24
canonical: https://convert.docswell.com/s/DeepLearning2023/KJ4L4X-2024-08-09-145505
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YJ6Y18RP7V.jpg)

DEEP LEARNING JP
[DL Papers]
Diffusion Policy と Navigationへの応⽤
Koya Sakamoto, Ishii Lab, Kyoto University
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GJ5G498PJ4.jpg)

発表内容
以下3つの論⽂内容を⼤雑把に話します.
• Diffusion Policy: Visuomotor Policy Learning via Action Diffusion,
Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake , Shuran Song,
RSS 2023
• ViNT: A Foundation Model for Visual Navigation,
Dhruv Shah, Ajay Sridhar, Nitish Dashora, Kyle Stachowicz, Kevin Black, Noriaki Hirose, Sergey Levine,
CoRL 2023
• NoMaD: Goal Masked Diffusion Policies for Navigation and
Exploration,
Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine,
CoRL Workshop 2023
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9E2YV2KZER.jpg)

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/D7YG3YNN7M.jpg)

参考⽂献
DL輪読会 ⼭根さん資料 (こちら)で説明
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VENGVPXVJ8.jpg)

Navigationへの応⽤
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/Y79W638V73.jpg)

Navigation Tasks
(主に) 未知環境において, ある地点からGoal地点まで移動するタスク
Goal情報によって様々なタスクが提案されている
• Image goal navigation: goal地点のimageを与えて, その地点を探す
• Object goal navigation: object categoryを与えて, そのobjectを探す
• Point goal navigation: 座標をgoal情報として与えて、その地点に向かう
…
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/G78NZM84JD.jpg)

Navigationへの応⽤⽅法
DiffusionをNavigationに応⽤した研究
• ViNT: A Foundation Model for Visual Navigation
– Image to image generation
– 現在のobservationから, 次の時間stepでのobservationをdiffusionで⽣成(推定)
– 推定された地点に進むべきかtransformer-basedなモデルで判定
• NoMaD: Goal Masked Diffusion Policies for Navigation and
Exploration
– Diffusion policy: actionを予測
どちらもimage goal navigationのタスク設定でtrain.
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L7LPD3RVJR.jpg)

ViNT: A Foundation Model for Visual Navigation
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EM4PDRNJW.jpg)

ViNT概要
Navigationの基盤モデルを提案
様々なロボットのnavigationデータで学習
複数のnavigation tasksに少量のfine-tuningだけで適応可能
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PERW14R4J9.jpg)

Model Architecture
Transformer-based なモデル.
入力: 直近6ステップの観測とgoal image
出力: goalまでの推定距離, action系列 (waypoints)
複数の経路から経路を
選択するのに利用
赤色: samplingされたstart地点,
緑色: samplingされたgoal地点,
青色: 学習データ軌道
経路を出力
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/P7XPY2RZJX.jpg)

Model Architecture
Transformer-based なモデル.
入力: 直近6ステップの観測とgoal image
出力: goalまでの推定距離, action系列(waypoints)
少量のfine-tuningで,
別のmodalityをGoal tokenにすることも可能
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/37KD3MRVED.jpg)

Long Horizonのための⼯夫
1. Diffusionによって複数のsubgoal画像を出⼒
2. 各subgoalsについてViNTで経路と必要timestepを推定
3. Heuristicにコストを計算
4. ⼀番コストが⼩さい経路を選択.
現在の観測から数step後の将来の観測を予測
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LJ3RGYGQE5.jpg)

結果 1
Heuristicを考慮して, 未知の環境を効率的に探索できている
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/8JDY151WJG.jpg)

結果 2: A Single Policy to Drive Any Robot
異なるロボットでも有効
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VEP6QGQX78.jpg)

結果 3: Generalization to Downstream Tasks
少量のfine-tuningで他のタスクにも応⽤可能
道路の⾞線に従うといったルールも学習可能
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/27V35653JQ.jpg)

結果 4: Emergent Behavior
Implicitにaffordanceを学習
• ⼈を避ける (social navigation skills獲得)
• 通路の中央を⾛る (following hallway)
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/5JG36N6YEL.jpg)

NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/47Q54Q46EP.jpg)

NoMaD概要
Navigationの基盤モデルの⼿法を提案
Diffusion policyを利⽤
- 複雑な⾏動分布を表現
- 軽量のために, 実機に搭載可能
Goal-maskingによって, task agnostic (単にブラブラ探索させる?)な能
⼒も獲得
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/KE49QNQMJ1.jpg)

Model Architecture
大まかなモデル構造はViNTと同様.
異なる点は以下の2つ
• Goal Masking
Goal情報が与えられなかった際のpolicyを学習するため
• Diffusion Policy
行動の複雑な分布をdiffusionを用いて表現
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/L71KP5PYEG.jpg)

Loss
Diffusion Policyのための項
Goal地点への距離推定
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/G7WD2521E2.jpg)

結果
ViNTと同程度のgoal-conditionedな際のnavigationスキルの他に,
goal情報を与えない場合でのnavigationのスキルも獲得.
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4JZGDNDX73.jpg)

まとめ
Diffusion policyによって, ⾏動の多峰的な分布を表現可能に.
robotのmanipulationタスクで⾼精度
Manipulation以外にも, navigationでもdiffusionが活⽤されている.
- image to imageで将来の画像を予測
- Diffusion policyでaction系列を予測
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/YE6Y181PJV.jpg)

23


