---
title: [DL輪読会]Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?
tags:  #deep learning  
author: [Deep Learning JP](https://convert.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LELZG6X2JR.jpg?width=480
description: 2017/7/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
published: July 21, 17
canonical: https://convert.docswell.com/s/DeepLearning2023/5ENQL8-dlconvolutional-neural-networks-for-medical-image-analysis-full-training-or-fine-tuning
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LELZG6X2JR.jpg)

20170721 DL 会
医学系研究科
山口亮平


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JMVQ5L9JW.jpg)

論文を選んだ理由
• 医療画像の分類をCNNで行なっているが、学習がうまくいかな
い
• サンプル数の少なさ、データの極端な偏り（正例：負例＝20:1
など）が避けられない。
• 異なる領域の画像認識に、ImageNetのような一般画像認識で
学習したネットワークを使用する転移学習が有用かどうか？に
興味があった。
• 転移学習って、どの層まで転移学習すれば良いのか？も知りた
い。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PJR283K9E9.jpg)



# Page. 4

![Page Image](https://bcdn.docswell.com/page/PEXD84L37X.jpg)

論文概要
• 単に「Fine Tuningした方が良いか」ではなく、「どの深さまでFine
Tuning(FT)すべきか」まで考察する。
全層FT vs 一部だけFT vs FTなし、で比べる。
• FTの及ぼす影響を、サンプル数を変えて考察する。
• やや一般画像とは性質が異なる医療画像に対して、Alexnetからの
FTが有用かどうかを考察する。
• タスクとしては、detection,classification,segmentationを含む、４
種類の実験を行なった。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/3EKXKZLN7D.jpg)

実験
• 次の四種類のタスクに対して、FTの影響を確認した。
• 全てに対してAlexNetを用いた（caffe使用）
• Train80% Validation 20% の cross-validation
• Validation accuracyが最小になったら学習終了
• FTしない場合、weightの初期値はガウシアン分布
• 学習の際は、downsamplingして正例負例を同じ数にした
• 学習率/減衰率は以下のTableⅡのように固定(探索的に決めた)


# Page. 6

![Page Image](https://bcdn.docswell.com/page/L735ZD3ZE5.jpg)

実験
• 次の四種類のタスクに対して、FTの影響を確認した。
• 全てに対してAlexNetを用いた（caffe使用）
• Train80% Validation 20% の cross-validation
• Validation accuracyが最小になったら学習終了
• FTしない場合、weightの初期値はガウシアン分布
• 学習の際は、downsamplingして正例負例を同じ数にした
• 学習率/減衰率は以下のTableⅡのように固定(探索的に決めた)


# Page. 7

![Page Image](https://bcdn.docswell.com/page/87DDRP447G.jpg)

実験１: 内視鏡でポリープdetection


# Page. 8

![Page Image](https://bcdn.docswell.com/page/VJPXWNMV78.jpg)

実験A: 内視鏡でポリープdetection
• 内視鏡・・・動画になっているので、フレーム画像を選ぶ
• 候補領域(candidate)をhandcraftで抽出
• Candidateの中でpatchを少しずつずらしていきながら、ポリー
プである確率を平均して算出。
• FROC カーブにて評価
• patch数はtrainingで100,000個。


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2EVL8K9RJQ.jpg)

実験A: 内視鏡でポリープdetection
• 内視鏡・・・動画になっているので、フレーム画像を選ぶ
• 候補領域(candidate)をhandcraftで抽出
• Candidateの中でpatchを少しずつずらしていきながら、ポリー
プである確率を平均して算出。
• FROC カーブにて評価
• patch数はtrainingで100,000個。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/57GX5QZ6EL.jpg)

実験A: 内視鏡でポリープdetection
• 内視鏡・・・動画になっているので、フレーム画像を選ぶ
• 候補領域(candidate)をhandcraftで抽出
• Candidateの中でpatchを少しずつずらしていきながら、ポリー
プである確率を平均して算出。
• FROC カーブにて評価
• patch数はtrainingで100,000個。


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EQ8ZKL2JP.jpg)

実験A 結果；どの層までFTするとよいか？


# Page. 12

![Page Image](https://bcdn.docswell.com/page/KJ423PDPE1.jpg)

実験A 結果
Hand-craftはまったくダメ
FTは全層したものがもっとも良い性能を示した。


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LE1M19ZX7G.jpg)

実験A結果；サンプル数による影響


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GEW38Q9KE2.jpg)

実験A結果；サンプル数による影響
サンプル数が少なければ少ないほど、
FTの影響は大きい


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47ZV8W9NE3.jpg)

実験B“ 肺塞栓のdetection
• 肺のCTから、病変をdetectionする。
• Augmentationなどを行い、81000枚のtrain画像


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YJ65PGK97V.jpg)

実験B“ 肺塞栓のdetection
• 肺のCTから、病変をdetectionする。
• Augmentationなどを行い、81000枚のtrain画像
• ２チャンネルの画像を入力とする(AlexNetに合わせるため、二
つ目のチャンネルを二個使用)


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GJ5YKVPDJ4.jpg)

実験B“ 肺塞栓のdetection
入力画像


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LE35ZD6QJ5.jpg)

実験B“ 肺塞栓のdetection
３チャンねる


# Page. 19

![Page Image](https://bcdn.docswell.com/page/8EDDRPVWEG.jpg)

実験B結果


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V7PXWNVXE8.jpg)

実験B結果
Sensitivityが高いのは、やはりconv1-fc8;FT
Handcraftが割と健闘している(handcraft featureの特異
性が高いとのこと)


# Page. 21

![Page Image](https://bcdn.docswell.com/page/2JVL8KZ37Q.jpg)

実験B結果；サンプル数による影響


# Page. 22

![Page Image](https://bcdn.docswell.com/page/5EGX5Q4YJL.jpg)

実験B結果；サンプル数による影響
サンプル数が少なければ少ないほど、
FTの影響は大きい


# Page. 23

![Page Image](https://bcdn.docswell.com/page/4JQ8ZKG67P.jpg)

実験C：内視鏡画像が適切かどうか
classification task


# Page. 24

![Page Image](https://bcdn.docswell.com/page/K7423P5MJ1.jpg)

実験C：内視鏡画像が適切かどうか
classification task
❌❌❌


# Page. 25

![Page Image](https://bcdn.docswell.com/page/LJ1M19WYEG.jpg)

実験C：内視鏡画像が適切かどうか
classification task
• Training 40,000枚の画像
• ランダムに切り出し、適切である確率の平均値を算出


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJW38Q61J2.jpg)

実験C 結果


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4EZV8WYXJ3.jpg)

実験C 結果
FT；conv5-fc8が精度がもっとも性能がよかった（全層FTするよりも！）
理由；おそらく、ImageNetで学習されていた浅い層で学習された特徴が、この
タスクに適していた→だから浅い層のFTは余計なものだった可能性あり


# Page. 28

![Page Image](https://bcdn.docswell.com/page/Y765PGDPEV.jpg)

実験C；サンプル数の影響
サンプル数が少なければ少ないほど、
FTの影響は大きい


# Page. 29

![Page Image](https://bcdn.docswell.com/page/G75YKV3P74.jpg)

結論
• 医療画像へのFTは有用。
• サンプル数がすくなければ少ないほど、FTは有用。
• FTの元になった画像群と、分類しようとする画像群との間との、
類似性が影響している可能性あり。


