---
title: マンガでわかる機械学習 4章
tags:  #機械学習 #ディープニューラルネットワーク #畳み込みネットワーク  
author: [荒木 雅弘](https://convert.docswell.com/user/MasahiroAraki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/37KX99RVJD.jpg?width=480
description: マンガでわかる機械学習 4章 by 荒木 雅弘
published: August 15, 23
canonical: https://convert.docswell.com/s/MasahiroAraki/KRX839-2023-08-15-094628
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/37KX99RVJD.jpg)

4章 ディープラーニング
p.90 5コマ目
• 荒木雅弘(著), 渡まかな(作画), ウェルテ(制作) :
『マンガでわかる機械学習』
（オーム社, 2018年）
• サポートページ


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ35WWGQ75.jpg)

4章のストーリー
• 清原は、ぶどう農家から作物の自動ランキングシステムが作
れないかという相談を受ける
• キュウリのランキングシステムをディープラーニングを使っ
て作成したという雑誌記事を発見する
• さやかは清原にディープラーニング全般と、画像認識に有効
な畳み込みニューラルネットワークについて教える


# Page. 3

![Page Image](https://bcdn.docswell.com/page/8JDDKK1WJG.jpg)

この章の内容
• 基本的なニューラルネットワーク
• 多層ニューラルネットワーク
• 畳み込みニューラルネットワーク


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VEPXKKQXJ8.jpg)

ニューラルネットワークのアイディア
• 生物の神経細胞（ニューロン）
• 複数の経路から入力された電気信号の和が一定値以上になれば、興奮
して電気信号を別のニューロンに伝える
ニューロン


# Page. 5

![Page Image](https://bcdn.docswell.com/page/27VLVV53EQ.jpg)

基本的なニューラルネットワーク
• ニューロンの働きを単純化したモデル
• 入力の重み付き和＋しきい値処理
入力
x1
しきい値関数がシグモイド関数の
場合は、ロジスティック識別と同じ
w1
x2 w 2
wd
xd
Σ
重み付き和 しきい値関数
出力


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5JGXLL6Y7L.jpg)

基本的なニューラルネットワーク
• 線形識別面の重み付き和で非線形識別面を実現
中間層のユニット数を増や
せばいくらでも複雑な識別
面を作ることができる


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47Q8YY46EP.jpg)

基本的なニューラルネットワーク
• ニューラルネットワークの学習
• 誤差逆伝播法
p.110 4コマ目


# Page. 8

![Page Image](https://bcdn.docswell.com/page/KE42WWQM71.jpg)

基本的なニューラルネットワーク
• 誤差逆伝播法
出力層
伝わる誤差量
x1
中間層
重みw
出力g
正解y
x2
誤差
x3
修正式
入力x


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L71MYYPYJG.jpg)

基本的なニューラルネットワーク
• 3層のニューラルネットワークの性質
• 中間層のユニット数を増やせば、任意の非線形識別面を学習することが
可能
⇒ 容易に過学習してしまう
• 多階層にすれば（生物の視神経の処理のように）特徴抽出処理
も学習できる可能性がある
• 出力層から遠ざかるにつれて誤差量が消失して学習ができない
⇒ 勾配消失


# Page. 10

![Page Image](https://bcdn.docswell.com/page/G7W3GG2172.jpg)

多層ニューラルネットワーク
• 特徴抽出前の情報を入力して識別
...
...
...
入力層
中間層
出力層


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JZVLLDX73.jpg)

多層ニューラルネットワーク
• 多層での学習が可能になった要因
• 事前学習法
• 入力層から順に入力信号を再現する学習を行って、逆伝播法を実行する
前に、ある程度適切な重みに調整しておく
• 活性化関数の工夫
• 微分しても大きく値が減らない活性化関数を用いる
• 過学習の回避
• ドロップアウト


# Page. 12

![Page Image](https://bcdn.docswell.com/page/YE65WW1PJV.jpg)

多層ニューラルネットワーク
• 事前学習法


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GE5YMM4PE4.jpg)

多層ニューラルネットワーク
• 活性化関数の工夫
• ReLU(Rectified Linear Unit)
• 入力が正の場合、微分値が1となり勾配消失が起こりにくい
• 入力が負の場合、ユニットの出力が0となり学習対象のパラメータ削減に寄与する


# Page. 14

![Page Image](https://bcdn.docswell.com/page/972G99VZ7R.jpg)

多層ニューラルネットワーク
• ドロップアウト


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DJYV443NJM.jpg)

畳み込みニューラルネットワーク
• 問題に応じてニューラルネットワークの構造を工夫
• 画像
⇒
• 自然言語
畳み込みニューラルネットワーク
⇒ リカレントニューラルネットワーク


# Page. 16

![Page Image](https://bcdn.docswell.com/page/V7NMYYVVE8.jpg)

畳み込みニューラルネットワーク
• 畳み込みニューラルネットワークの構造


# Page. 17

![Page Image](https://bcdn.docswell.com/page/YJ9NPP6VJ3.jpg)

畳み込みニューラルネットワーク
• 畳み込み層の処理（＝フィルタ）


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GJ8KDDZ4ED.jpg)

畳み込みニューラルネットワーク
• 畳み込み層の処理とプーリング
上位のユニット
ほど複雑な特徴
を捉えているこ
とになる


# Page. 19

![Page Image](https://bcdn.docswell.com/page/LJLZMMDV7R.jpg)

転移学習
• 転移学習とは
• 大量のデータで学習させたネットワークを利用
• 少ないデータ量でもDNNが活用できる可能性


