---
title: 【Diffusion勉強会】Dreamer 4: Training Agents Inside of Scalable World Models
tags: 
author: [Deep Learning JP](https://convert.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YE993MNRE3.jpg?width=480
description: 【Diffusion勉強会】Dreamer 4: Training Agents Inside of Scalable World Models by Deep Learning JP
published: January 07, 26
canonical: https://convert.docswell.com/s/DeepLearning2023/ZG28Q9-2026-01-16-110805
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YE993MNRE3.jpg)

Dreamer 4: Training Agents Inside of
Scalable World Models
Tomoshi Iiyama, Matsuo Lab


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GE89MLKG7D.jpg)

書誌情報
Training Agents Inside of Scalable World Models
●
Danijar Hafner, Wilson Yan, Timothy Lillicrap
●
論⽂： https://arxiv.org/abs/2509.24527
●
実装：
Google DeepMind)
未公開（2026年1⽉時点）
概要
●
世界モデル研究の⽕付け役となった「Dreamer」の第4弾
●
オフラインデータのみを使⽤して、Minecraft でダイヤモンド 💎 を⼿に⼊れることに初めて成功
●
以前の Dreamer のような RNN ベースではなく、拡散モデルと Transformer を採⽤
●
リアルタイムで⾼速な推論を実現 ＆ 少量のアクションデータで汎化を実現
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LELW3LZXJR.jpg)

BACKGROUND
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JM9DMV3EW.jpg)

Background
世界モデル
●
環境の遷移を予測‧シミュレーションする⽣成モデル
●
⼈間の⼩脳に形成されているといわれている内部モデルにヒントを得ている
●
David Ha の World Models Ha+ 18 が⽕付け役となり、研究が進められている
●
強化学習と組み合わせた Dreamer Hafner+ 19 などの⼿法が有名
もし左に動かしたら
どうなる ...？
潜在表現
⾃分の⾏動で条件付けた
未来を予測する
行動
「パドルを左に動かす」
実際の観測
現在時刻
次時刻 （想像）
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PJRG4V2RE9.jpg)

Dreamer の系譜
Background
2018 World Model Ha+ 18
深層⽣成モデルを使⽤した世界モデルの初期研究
2019 PlaNet Hafner+ 2019
RSSM (recurrent state space model) を提案
2019 Dreamer Hafner+ 2019
世界モデル RSSM の想像の中で強化学習 RL する初のエージェント
2020 DreamerV2 Hafner+ 2020
Atari ゲームタスクで⼈間を上回る
2023 DreamerV3 Hafner+ 2023
Minecraft でダイヤモンドを獲得することに初めて成功
2025 Dreamer 4
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PEXX2ZDYEX.jpg)

DreamerV3
Background
●
Minecraft でダイヤモンドを獲得することに初めて成功した
●
⾮常に狭い環境に限っては⾼速で正確だが、複雑な実世界の分布に適応できる能⼒に⽋ける
○
アーキテクチャが弱い （VAE &amp; RNN）
○
複雑な環境でも⽣成可能な Genie 3 などの制御可能な動画モデルは、
Diffusion Transformer などのスケーラブルなアーキテクチャを使⽤している
●
しかし、最近のモデルも課題がある
○
正確な物理相互作⽤やゲームルールの理解は完全でない
○
1つのシーンのリアルタイム⽣成にたくさんの GPU が必要
■
●
世界モデル内での⽅策学習⽤途を考えると厳しい
→ よりスケーラブルなアーキテクチャを採⽤しつつも、少ない GPU で⾼速に推論させたい
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/3EKWM8X4ED.jpg)

オフライン学習
Background
●
通常の世界モデル⼿法（DreamerV3 など）はオンラインの環境を前提に学習する
●
しかし、実世界のロボット等では、中途半端に学習したエージェントで実際の試⾏を繰り返すのは危ない
○
物理的に危険
○
ロボットの位置を毎回リセットする必要があり、コストもかかる
●
実際の環境との相互作⽤なしに、既にあるデータだけを使って安全にエージェントを訓練したい
●
→ オフラインでの⾏動最適化に挑戦
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L731Y25DJ5.jpg)

METHOD
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/87DX5ZD2EG.jpg)

Method
事前知識：フローマッチング
●
シンプルなフローマッチングの定式化を使⽤
●
ノイズから元の画像データへ向かうベクトル場（速度場）
●
:
をネットワークで予測する
0の時が完全ノイズ、1の時がクリーンな画像
○
信号レベル
○
学習時、信号レベルはランダムに選ばれる
推論時は完全なノイズから開始する
○
K ステップのサンプリングを反復的に繰り返す
○
ステップサイズ：
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/VJPPGDXLJ8.jpg)

事前知識：Shortcut Models
●
Shortcut models Frans+ 2024：信号レベル 𝜏 だけでなく、ステップサイズ d でも条件付ける
○
●
Method
→ 推論時に、ステップサイズ（つまりサンプリングステップ数）を⾃由に変えられるようになる
Bootstrap loss で学習
○
2分割した細かいステップ（
○
ステップサイズが最⼩でこれ以上分割できない時は、通常のフローマッチングと同じ
）による出⼒を正解として、1ステップで出⼒できるよう蒸留する
●
ステップサイズと信号レベルはランダムに選ばれる（
●
推論時、好きな
はハイパラ）
を条件付けてやれば、希望のサンプリングステップ数で⽣成できる！
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2EV261L6EQ.jpg)

事前知識：Diffusion Forcing
●
Method
Diffusion forcing Chen+ 2024
○
系列データの各タイムステップに異なる信号レベル（ノイズ）を割り当てる⼿法
○
通常の next-token prediction
■
学習時は綺麗な過去のデータから次ステップを予測するため（Teacher forcing）、
実際の⽣成時はノイズや誤差が蓄積してしまう
○
通常の full-sequence diffusion
■
○
→
系列⻑が固定されてしまっている
両者の良いとこ取りを実現
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/57GRN2X2EL.jpg)

Dreamer 4
●
Method
Dreamer 4
○
トークナイザ と ダイナミクスモデルの2つから構成
○
どちらも Transformer を使⽤
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EQVQP89JP.jpg)

Dreamer 4 トークナイザ
●
Method
Causal Tokenizer
○
動画フレームを、圧縮された連続表現のトークンに変換
○
過去の情報のみ使⽤（causal）
○
Masked autoencoding を使⽤
■
○
⼀部の画像パッチを確率的にドロップアウト
MSE &amp; LPIPS の損失で学習
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/KJ4MNY9RE1.jpg)

Dreamer 4 ダイナミクス
●
Method
Interactive Dynamics
○
トークナイザをフリーズさせた後に学習
○
Shortcut forcing により、K4 のサンプリングを実現
○
4つの要素が交互に並んだ系列を処理する
■
⾏動
■
信号レベル
■
ステップサイズ
■
圧縮表現
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LE1856KV7G.jpg)

Dreamer 4 ダイナミクス
●
Method
Shortcut forcing objective
○
Diffusion forcing と Shortcut models を組み合わせた objective を提案
○
速度場を予測させる通常の⽅法（v–prediction）は
出⼒が敏感になりやすく、⻑期の動画では誤差が蓄積する
○
そのため、代わりにクリーンな表現を直接予測させる
x-prediction を採⽤する
○
Shortcut model のロスを v-space から x-sapce に変更
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GEWZ5WD3E2.jpg)

Dreamer 4 ダイナミクス
●
Method
Ramp loss weight
○
データにノイズが多く加えられている時は学習信号が弱くなる
○
ノイズが少ない時の学習により集中させたい
○
損失の重みを信号レベルで重み付け
■
信号レベルとともに線形に増加
■
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/47Z1N5GGJ3.jpg)

学習の流れ
Method
フェーズ1 世界モデルの事前学習
○
動画データでトークナイザを訓練 → フリーズさせる
○
⾏動データでダイナミクスモデルを学習（⾏動条件付け動画予測）
フェーズ2 Agent Finetuning
○
データセット中の⾏動と報酬を MLP で予測させるように学習する（behavior cloning）
○
Agent tokens（タスク埋め込みを受け取るトークン）を追加し、そこから⾏動‧報酬を出⼒
○
タスクに条件付けられた⽅策と報酬が学習される
フェーズ3 Imagination Training
○
模倣学習の⽅策よりもさらに良い振る舞いを学習するため、
世界モデルによって想像‧⽣成されたデータをもとに RL（PMPO） を⾏う
○
Transformer 部分はフリーズさせ、⽅策と価値を出⼒するヘッドを訓練
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/YJ6L89YQEV.jpg)

EXPERIMENTS
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GJ519NG274.jpg)

クエスチョン
1
Experiments
Dreamer 4 は、オンラインの環境相互作⽤なしに
世界モデル内での想像学習だけで、難しい RL タスクを解けるか？
✔ 難しいタスク（鉄のツルハシを作る等）において、ベースラインの成功率を⼤きく上回った
2
以前の世界モデルと⽐較して、
オブジェクトの相互作⽤やゲームのルールをどれくらい正確に予測できるか？
✔ ベースラインに⽐べて、複雑な相互作⽤（ネザーポータルで移動する等）の動画を正確に⽣成できた
汎化した⾏動条件付けを学習するために、どれくらいの⾏動ラベルのデータが必要か？
3
✔ 2500時間の動画に対し、わずか100時間の⾏動データでも学習可能だった
提案⼿法のうち、どの要素が効いているのか？
4
✔ Shortcut Forcing やロスの重み付けなど、どの要素もパフォーマンスの改善に不可⽋だった
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/LE31Y2R175.jpg)

1 Offline Diamond Challenge
●
●
●
Experiments
Minecraft で初期スポーンの状態からダイヤモンドを収集するチャレンジ
○
⾮常に long-horizon なタスク
○
慣れている⼈間でも約20分かかる（24,000ステップのマウス/キーボード操作が必要）
DreamerV3 では、オンラインの環境にアクセスしながら解いていた
○
1. 現時点の学習途中の⽅策を使って、オンライン環境で新しい軌道データを収集
○
2. 集めた軌道データを使って、世界モデルを学習
○
3. 更新された世界モデルを使って、軌道データを想像/⽣成
○
4. 想像した軌道データを使って、⽅策を学習
○
以上を繰り返す
今回は、実世界のロボット等を想定して、固定されたオフラインデータのみから学習する
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/8EDX5ZYKJG.jpg)

1 Offline Diamond Challenge
●
Experiments
VPT データセットを使⽤
○
2,541 時間の⼈間によるゲームプレイの動画（20 FPS）
○
低レベルのマウス‧キーボード操作（⾏動データ）や、イベントアノテーションが含まれる
○
各エピソード：60分間
■
○
ランダムな地点で、インベントリが空の状態からスタート
⾏動データ
■
キーボード：23 のバイナリ
■
マウス：121 クラスのカテゴリカル分布
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/V7PPGD6378.jpg)

1 Offline Diamond Challenge
●
Experiments
学習設定
○
タスクのアノテーション（計 20 個）を使⽤して、各タスクにバイナリの報酬を設定
○
混合データを使⽤
■
50% ランダムにサンプル
●
■
ダイナミクスはこちらで学習（楽観的な⽣成を防ぐ⽬的）
50% いずれかのタスクを達成するサンプル
●
BC はこちらで学習
○
コンテキスト⻑: 192 フレーム
○
モデルサイズ
■
2B パラメータ（トークナイザ: 400 M, ダイナミクス: 1.6 B）
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/2JV2613NJQ.jpg)

1 Offline Diamond Challenge
●
Experiments
ベースライン
○
○
VPT OpenAI
■
YouTube 上のゲームプレイ動画（27万時間）で訓練されたモデル
■
Fine-tuning された⽅策を使⽤
BC のみ
■
○
スクラッチからの模倣学習
Gemma 3
■
VLA（Vision-Language-Action）モデル
■
Fine-tuning して BC を学習
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/5EGRN235JL.jpg)

1 Offline Diamond Challenge
●
Experiments
各タスクの成功率（1,000 エピソードで集計）
○
VPT は⽊の棒を作る所まで達成（53 ％）
○
VLA は鉄のツルハシを作る所まで（11 %）
○
Dreamer 4 は最後のダイヤモンド収集まで達成（0.7 %）
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/4JQVQP5L7P.jpg)

1 Offline Diamond Challenge
●
Experiments
各タスクの成功率と達成に要した時間
○
成功率だけでなく、⽅策の効率も改善されている（より早くゴールを達成）
○
Gemma 3BC よりも Dreamer 4 が上回る
■
Dreamer 4 の世界モデルの表現が、Gemma 3 の⼀般的な表現よりも優れていることを⽰唆
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/K74MNY95J1.jpg)

2 Human Interaction
●
Dreamer 4 の動画予測能⼒を評価
●
⼈間のプレーヤーが、世界モデルの内部でゲームをプレイする
○
⼈間はタスク（⽊を切る、壁を作る等）の説明を受け取る
○
そのタスクの初期フレームから⽣成が開始される
Experiments
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LJ1856K2EG.jpg)

2 Human Interaction
●
Experiments
ベースライン
○
Oasis
○
Lucid-v1
○
MineWorld
○
（Genie 3 はキーボード/マウスの⾏動空間に対応していないため、除外）
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GJWZ5WD2J2.jpg)

2 Human Interaction
●
⼈間の操作に応じて、リアルタイムで⽣成する必要がある
○
●
●
1つの H100 GPU を使⽤して推論速度を測定
Dreamer と Lucid-v1
○
●
Experiments
データセット本来の 20 FPS を上回る推論速度を達成
Oasis
○
モデル⼩：20 FPS を達成
○
モデル⼤：5 FPS
MineWorld
○
並列デコードで 2 FPS
○
（事前に全ての⾏動系列を知る必要があり、リアルタイムには使⽤できない）
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/4EZ1N5G473.jpg)

2 Human Interaction
●
Experiments
Lucid-v1
○
16 個中、全てのタスクで正確な⽣成に失敗
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/Y76L89YGJV.jpg)

2 Human Interaction
●
Experiments
Oasis (large)
○
16 個中、5個のタスクで⽣成に成功
30


# Page. 31

![Page Image](https://bcdn.docswell.com/page/G7519NGXE4.jpg)

2 Human Interaction
●
Experiments
Dreamer 4
○
16 個中、14個のタスクで正確な⽣成を達成
31


# Page. 32

![Page Image](https://bcdn.docswell.com/page/9J2125YQ7R.jpg)

2 Human Interaction
●
Experiments
タスク：「窓を並べる」
Lucid-v1
Oasis
Dreamer 4
32


# Page. 33

![Page Image](https://bcdn.docswell.com/page/DEYZYKGY7M.jpg)

2 Human Interaction
●
Experiments
タスク：「ポータルをくぐってネザーに移動する」
Lucid-v1
Oasis
Dreamer 4
33


# Page. 34

![Page Image](https://bcdn.docswell.com/page/VJN3PRGRJ8.jpg)

2 Human Interaction
●
Dreamer 4 は、複雑な相互作⽤とゲームメカニクスを正確に予測‧⽣成できた
●
しかし、⼀部のタスクでまだ改善の余地がある
○
タスク：「360度回転した後で、家に⼊る」
○
振り返った時に、先ほど⾒たものを忘れてしまっている
○
→
Experiments
近年の動画⽣成モデルの課題（メモリ機構などで対処する必要）
Dreamer 4
34


# Page. 35

![Page Image](https://bcdn.docswell.com/page/YE993MWZE3.jpg)

3 Action Generalization
●
Experiments
⾏動ラベルの付いていないネット上の動画などからも、
⼀般的な物理法則やオブジェクトの相互作⽤を学習できたら良い
●
学習に使⽤する⾏動データの量を変えて実験
○
●
0, 10, 100, 1000, 2541 （時間）
テストデータにおいて、320 フレームのコンテキストで条件付けて 16 ステップ⽣成する
○
PSNR と SSIM で評価
35


# Page. 36

![Page Image](https://bcdn.docswell.com/page/GE89MLRY7D.jpg)

3 Action Generalization
●
●
Experiments
⾏動データの量を変えた際の予測精度
○
10 時間しかなくても、SSIM 75% を達成
○
100 時間もあれば、PSNR 80%, SSIM 100% になる
世界モデルが知識の⼤部分をラベルなし動画から学習しており、⾏動は少量で⾜りることを⽰唆している
36


# Page. 37

![Page Image](https://bcdn.docswell.com/page/LELW3LK9JR.jpg)

3 Action Generalization
●
⾏動データの汎化性能を評価
○
●
Experiments
⾏動データを、「通常ワールド」と「ネザー/エンド」のデータに分割
ネザーの世界で⾏動条件付け⽣成を⾏った時の精度
○
通常ワールドでのみ学習した⾏動条件付けが、未知のシナリオにも⼀般化できることを⽰している
37


# Page. 38

![Page Image](https://bcdn.docswell.com/page/4JM9DM2VEW.jpg)

4 Model Design
●
アブレーション
●
コンテキストなしで、384 フレームの動画を 1024 本⽣成
○
Experiments
16 フレームのチャンクに分割し、FVD スコアを計算
38


# Page. 39

![Page Image](https://bcdn.docswell.com/page/PJRG4VMWE9.jpg)

まとめ
39


# Page. 40

![Page Image](https://bcdn.docswell.com/page/PEXX2ZVVEX.jpg)

Conclusion
まとめ
●
Dreamer 4 を提案
●
DreamerV3 と⽐べて、モダンなアーキテクチャの採⽤により、予測性能‧⽣成品質が圧倒的に向上
●
動画⽣成モデルとしてスケールさせつつ、リアルタイム推論や RL 学習も意識した設計
●
スケーラブルな動画⽣成モデルが、世界モデルとしてプランニングにも応⽤できることをちゃんと⽰した
○
オフラインデータ縛りでダイヤモンドチャレンジを達成した点がインパクト
●
少量の⾏動ラベルで汎化することを⽰した点も興味深い
●
近年のトレンド通り、⽣成時の⻑期記憶に課題があることも改めて確認できた
●
○
この点に対処することで、プランニング性能をさらに改善できると思われる
○
（ダイヤの成功率はまだ 0.7% なので、伸び代が沢⼭ある）
⼤規模な事前学習モデルよりも性能が優れている点について、より深掘りした分析を期待
40


# Page. 41

![Page Image](https://bcdn.docswell.com/page/3EKWM8Q5ED.jpg)

補⾜
41


# Page. 42

![Page Image](https://bcdn.docswell.com/page/L731Y2P1J5.jpg)

DreamerV3 との⽐較
Experiments
42


# Page. 43

![Page Image](https://bcdn.docswell.com/page/87DX5ZLKEG.jpg)

実験
Experiments
43


# Page. 44

![Page Image](https://bcdn.docswell.com/page/VJPPGD23J8.jpg)

実験
Experiments
44


