---
title: 【生成Deap Learning 第2版】5.3~5.5
tags:  #pixelcnn #lstm  
author: [京都大学人工知能研究会KaiRA](https://convert.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/37K518VVED.jpg?width=480
description: 【生成Deap Learning 第2版】5.3~5.5 by 京都大学人工知能研究会KaiRA
published: May 15, 25
canonical: https://convert.docswell.com/s/kyoto-kaira/KEXDRN-2025-05-15-211055
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/37K518VVED.jpg)

生成Deep Learning 5章後半
RNNの拡張、Pixel CNN
京都大学工学部情報学科3回
野村隆晃
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ3KQMQQJ5.jpg)

アジェンダ
◼ 多重RNN
◼ Gated RNN
◼ Bidirectional RNN
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/8JD3969WEG.jpg)

1.1.1 多層RNN
LSTMセルが多重に重なったアーキテクチャ
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VEP4ZYZXJ8.jpg)

1.1.2 多重RNNの実装
LSTMの層を一つ増やすだけでいい！
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/27VXWGW3EQ.jpg)

1.2.1 Gated RNN
LSTMセルの内部が変更
Gated LSTM
Gated RNNの特徴
LSTMを簡略化したものになっている
1. Cell状態がない
2. ゲートの数が更新ゲートとリセットゲートの2つに減っ
ている
通常のLSTM
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5JGVD8DYJL.jpg)

1.3 Bidirectional LSTM
穴埋め問題などの場合は、その後ろの文章も使える！
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47Q619167P.jpg)

アジェンダ
◼ マスク付き畳み込み層
◼ 残差ブロック
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/KE44RXRME1.jpg)

2.1.1 マスク付き畳み込み層
左上から1pixelづつ予想していく！
マスクについて、中央のピクセルを用いるかで2タイプに分かれる。
A: 中央のピクセルは0
B: 同上が1
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L714QNQY7G.jpg)

2.1.2 マスク付き畳み込み層の実装
マスク付き畳混み層は意外と単純で、A,Bの2タイプに注意を払う
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/G7WXM4M1J2.jpg)

2.2 残差ブロック
恒等写像を入力とする層を追加する
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JZ6Q2QXJ3.jpg)

2.3 Pixel CNN全体のアーキテクチャ
入力から
1. マスク付き畳み込み
2. 残差接続ブロック
3. マスク付き畳み込み
4. 畳み込み層
最後の畳み込み層(softmax関数の畳み込み層)で、出力はチャンネルの分類問題
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/YE626V6PJV.jpg)

2.4 本書での実験
訓練画像はFasion MNISTのモノクロを4レベルのみにしたもの
元論文では256個のフィルターだが、簡略化のため4色で学習している。
そのため、4種類しか色がない…
訓練画像
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GE526D6PE4.jpg)

2.4 画像生成
生成コードからの重要そうな抜粋
Tempratureは温度
各pixelごと予測
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/9724M8MZER.jpg)

混合分布を用いたPixel CNN
従来手法の問題点: ピクセル値の100と101の関係が未学習&amp;畳み込み層のチャンネル数が大きい
混合ロジスティック分布からサンプリングすることで解決(図ではパラメータが14個)
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DJYMX6XNJM.jpg)

学習曲線
ロジステック分布vsソフトマックス
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/V7NW1Z1V78.jpg)

混合ガウス分布
多様な値はとっている..?
15


