---
title: 【ゼロから作るDeep Learning④】TRPO・PPO
tags: 
author: [京都大学人工知能研究会KaiRA](https://convert.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/P7RGDYXWJ9.jpg?width=480
description: 【ゼロから作るDeep Learning④】TRPO・PPO by 京都大学人工知能研究会KaiRA
published: December 25, 25
canonical: https://convert.docswell.com/s/kyoto-kaira/ZG23JD-2025-12-25-211539
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/P7RGDYXWJ9.jpg)

方策ベース強化学習
TRPO, PPO
工学部B3
野村隆晃
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/PJXX1G6VJX.jpg)

アジェンダ
◼ Trust Region Policy Optimization
◼ Proximal Policy Optimization
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/3JKW2415JD.jpg)

アジェンダ
◼ Trust Region Policy Optimization
◼ Proximal Policy Optimization
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LE314LQ175.jpg)

記号の導入
方策、状態価値関数、アドバンテージなどの方策ベース強化学習のおさらい
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/8EDXQN9KJG.jpg)

方策の変更
方策π, π
෥の収益に対する恒等式が成立する
Advantageに対して、前頁の定義式と期待値の定義より次の結果が得られる
方策πについて、任意の状態sにおいてAdvantageが非負であれば、update後の方策෥
πの収益が増
加する。ただし訪問密度ρに関しての方策෥
πへの依存が数値的に複雑ため、代理関数Lを別途定義
代理関数と収益は初期方策と微分係数が一致するため、方策をこまめに更新していけば一致
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/V7PPL5Z378.jpg)

TRPO
Policyの更新に対して以下の式が成立する。つまり代理関数と更新前後のPolicyのKL情報量より
収益は増加するので、右辺を反復的に更新していけば収益は反復するごとに単調に増加する！
名前の由来であるTrust Regionは今の方策から離れすぎる(KL距離が大きい)と報酬の下限が抑
えられなくなることに由来
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/2JV2QPWNJQ.jpg)

TRPOの基本的なアルゴリズム
Arg maxの計算ができるば、反復的に方策更新することで収益が単調に増加する
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/5EGRWPD5JL.jpg)

Arg maxの計算
Advantageを定義式より状態価値関数Qに置き換えて、KL距離に関しては目的関数から信頼領域を用
いた制約条件にして最適化を書き換え(q: 経験分布、δ: 信頼領域)
元の問題
Single Path: Trajectoryをsample
Vine: 経験分布に同様に学習
Single Path
Vine
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JQV321L7P.jpg)

アジェンダ
◼ Trust Region Policy Optimization
◼ Proximal Policy Optimization
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/K74M1LR5J1.jpg)

Proximal Policy Optimization
Trust Region Policy Optimizationとは最大化する代理関数が異なる。TRPOの短所として制約条
件などの実装が面倒くさいので、Clippingで更新を抑制
TRPO
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJ18GLQ2EG.jpg)

アルゴリズム
代理関数に加えてCriticの損失と探索を促すEntropy項を追加
10


