---
title: 【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～
tags:  #unity #unitetokyo #unitetokyo2018  
author: [Unity Technologies Japan](https://convert.docswell.com/user/UnityJapan)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L2JV5GP3JQ.jpg?width=480
description: 講演者：金 太一（東京大学医学部脳神経外科）  こんな人におすすめ ・医療や教育分野に興味のある方 ・これまで医療分野に携わったことのない方 ・医用CGや医用画像に興味のある方  受講者が得られる知見 ・医療や教育分野のニーズや展望 ・非医療の方こそ活躍できる ・Unityで医用画像の取込や医用3DCG作成を実装する方法
published: May 09, 18
canonical: https://convert.docswell.com/s/UnityJapan/5MG9N5-unite-2018-tokyounity-96499972
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L2JV5GP3JQ.jpg)

2018/5/7-9
Unityの医療と教育への応用
〜ちょっと人を助けてみませんか？〜
金 太一
東京大学医学部脳神経外科
2018.5.9


# Page. 2

![Page Image](https://bcdn.docswell.com/page/Z5EG68PY7L.jpg)

自己紹介
金 太一
東京大学医学部脳神経外科 / 助教
・脳神経外科医として17年
・手術シミュレーションや医用3DCGの臨床応用
・使用しているソフト（本日ご紹介する内容のレベル）
Unity
Modo / Maya / ZBrush / KeyShot
Real Flow / Motion
Amira
医用画像処理ソフトは使用せず
“ 役に立つ、日々使われる ”


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V4JQ4926EP.jpg)

本日の内容
1. 医療への応用とニーズを紹介
2. 医療に関わったことがない人や技術こそ活躍で
きる
3. Unityで医用画像処理ができるようになる
Caution!!
実際の手術のビデオがでます


# Page. 4

![Page Image](https://bcdn.docswell.com/page/DK74QXLME1.jpg)

市場
医療機器（年成長率5.2%）
国内3.8兆円、世界55兆円（2018年）
医療シミュレーション（15%）
世界 1400億円/2019年→2800億円/2022年
日本スリービー・サイエンティフィック社
診断支援ソフトウェア（急速に拡大中）
2020年には770億円（国内）
患者固有のデータではない
仮想シミュレーション（変形など）できるソフト
がない
患者固有の3DCGによる手術シミュレー
ション
CAEヘルスケア社


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PLJ1PNLYEG.jpg)

脳神経外科手術
脳腫瘍の手術
脳幹（正常解剖）
手術に必要なもの
1. 知識
2. 戦略
3. 判断
4. 手先の器用さ
2cm


# Page. 6

![Page Image](https://bcdn.docswell.com/page/8GJW24V172.jpg)

当施設での3DCGによる手術検討（2008〜）
900症例、論文36本、特許申請 7件


# Page. 7

![Page Image](https://bcdn.docswell.com/page/W4EZD24XJ3.jpg)

まずは医用画像に慣れてもらいます
“ UnityでDICOMデータを扱う ”


# Page. 8

![Page Image](https://bcdn.docswell.com/page/KY761V3PJV.jpg)

医用画像のフォーマット DICOM
・Digital Imaging and Communications in Medicineの略
・医用画像の国際標準規格
DOCOMのヘッダー情報（←Photoshopでも見られます！）
タグ
全ての情報には個別の番号（タグ）が定められている
どのタグにどんな内容が入っているか決まっている
グループ番号
エレメント番号
データ
0002
0000
200
0002
0001
…
0002
0002
1.2.840.10008.5.1.4.1.1.4
0002
0003
1.2.840.113619.2.312.3596.11861684.12073.136
98
0002
0010
1.2.840.10008.1.2.1
0002
0013
OFFIS_DCMTK_354
0002
0005
ISO_IR 100
0008
0020
20130530
0008
0030
163709
0008
0060
MR
0008
0070
GE MEDICAL SYSTEMS
0008
0060
TOKYO UNIV HOSPITAL
0008
0060
Unspecified


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5G754DLPE4.jpg)

画像への変換
画素データもタグ番号（7fe0, 0010）のデータに格納されている
画像への変換は、複数のタグ情報を組み合わせて画素を抽出し、画素に色を対応付ける
抽出した画素
ピクセルデータ
グループ番号
7fe0
グループ番号
エレメント番号
データ
0 0 0 0 0 0 0 ・・・ 8 8 8 9
10
＋
エレメント番号
データ
0
0
0
0
0
0
0
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
3
4
4
4
4
4
4
4
5
5
5
5
5
5
5
5
5
6
6
6
6
6
6
6
6
6
7
7
7
7
7
7
8
8
8
8
8
8
8
8
9
0028
0004
Photometric Interpretation
0028
0010
Rows
0028
0011
Columns
0028
0030
Pixel Spacing
0028
0100
Bits Allocated
0028
0106
0028
0101
Bits Stored
0028
0107
Largest Image Pixel Value
0028
0102
High Bit
0028
1050
Window Center
0028
0103
Pixel Representation
0028
1051
Window Width
画像作成に必要なタグ情報
＋
Smallest Image Pixel Value
画像作成時に参考とするタグ情報


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V9J2V8LZJR.jpg)

Simple DICOM Loader
（DICOMデータを表示するアセット）
2018年5月5日リリース
株式会社Kompath (https://www.facebook.com/Kompath)


# Page. 11

![Page Image](https://bcdn.docswell.com/page/5DEY36QN7M.jpg)

Simple DICOM Loader
（DICOMデータを表示するアセット）
2018年5月5日リリース
株式会社Kompath (https://www.facebook.com/Kompath)


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2VJNVZKV78.jpg)

High Speed CPU-based Marching cubes
（DICOMデータから3DCGを作成するアセット
（近日中にリリース）
株式会社Kompath (https://www.facebook.com/Kompath)


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GYE96ZVVE3.jpg)

High Speed CPU-based Marching cubes
（DICOMデータから3DCGを作成するアセット
（近日中にリリース）
株式会社Kompath (https://www.facebook.com/Kompath)


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5GE8Z1P47D.jpg)

どうして手術シミュレーションや医用3DCGが必要なのか
現状では何かが不足
課題と解決法（未解決を含む）をご紹
介


# Page. 15

![Page Image](https://bcdn.docswell.com/page/MLELDQ1V7R.jpg)

課題1. 多すぎる医用画像データ
手術1症例あたり
数十種類
数千枚。。。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/54JMP1WNJW.jpg)

課題1. 多すぎる医用画像データ
脳腫瘍
fusion
医用融合３次元画像


# Page. 17

![Page Image](https://bcdn.docswell.com/page/ZPJR1LY4J9.jpg)

医用融合３次元画像処理のなが
れ
元画像データの選択
y
レジストレーション
x
z
正規化相互情報量法
セグメンテーション
x
z
レンダリング
hybrid rendering
Surface Rendering
one threshold
shading
texturing
multi-threshold
other CG techniques
骨削除
脳変形
４DCG
などなど
patent application PCT/JP2014/76958
Volume Rendering
手術シミュレーション
30分〜数時間


# Page. 18

![Page Image](https://bcdn.docswell.com/page/NPEXYWGZ7X.jpg)

課題2. 画像処理時間と用手的操作
リージョングローイング法による脳のセグメンテーション
自動
自動
手動
現状では、
自動セグメンテーションは不可能


# Page. 19

![Page Image](https://bcdn.docswell.com/page/63EK3V4VED.jpg)

課題2. 画像処理時間と用手的操作
機械学習を用いた脳の自動セグメンテーション
学習データ（健常人10例）
Deep Learning Frame Work：Chainer 3.1.0
言語：Python3.6
計算機：CPU: Intel(R) Core(TM) i7-6800K 3.40GHz
GPU: NVIDIA GeForce GTX 1080 Ti
機械学習
モデル
入力：造影FIESTA（208x480x160）
出力：脳が1、それ以外が0のラベルボクセルデータ
学習率0.5でSGDにて15〜30epoch学習した後Adamを適用
各層のパラメータの初期化：Chainerのデフォルト
融合3次元画像
として使用
テストデータ
学習済モデル
出力データ


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4L73GMDQE5.jpg)

課題2. 画像処理時間と用手的操作
機械学習を用いた脳の自動セグメンテーション
学習結果
単純閾値法で３次元化
正解データ
（ヒトが用手的に抽出）


# Page. 21

![Page Image](https://bcdn.docswell.com/page/V87D16PWEG.jpg)

課題2. 画像処理時間と用手的操作
単純閾値法
機械学習を用いた脳の自動セグメンテーション
学習結果
正解データ
（ヒトが用手的に抽出）
視床にseed pointをおき
region growing
1. 学習データを均一にする前処理
・ラベルの方法（範囲、対象）
・位置姿勢やスケールを補正
・解像度を一致させる
2. その後の画像処理（region growingにおけるseed
point）


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4VJPQYNXE8.jpg)

課題2. 画像処理時間と用手的操作
機械学習を用いた脳の自動セグメンテーション
10例のテストデータで同等のクオリティの脳3DCGモデルが作成可能であった
本研究は、科学技術振興機構（JST）戦略的創造研究推進事業（CREST）研究領域
「人間と情報環境の共生インタラクション基盤技術の創出と展開」
「データ駆動型知的情報システムの理解・制御のためのインタラクション」による成果です
数千・数万のデータは不要！
というか、ない！
Modo®


# Page. 23

![Page Image](https://bcdn.docswell.com/page/L2EV5GK3EQ.jpg)

課題3. 医用画像の描出能
・ 解像度
白黒 512x512x200程度（1 voxel ≒ 0.5mm）
←1mmの血管がぎりぎり描出
←脳神経外科手術で最も重要な血管は1mm前後
・ 分解能
重要な組織は医用画像にほとんど写っていない
脳幹
Wikipediaより
医師の頭の中でのみ融合
→正しく3次元化できない
→情報共有ができない
→手術時のリスク↑


# Page. 24

![Page Image](https://bcdn.docswell.com/page/Z57G68QYJL.jpg)

課題3. 医用画像の描出能
正常解剖モデルを作る
Modo®、Maya®
Kakizawa et al., Neurosurgery. 2007
2018


# Page. 25

![Page Image](https://bcdn.docswell.com/page/V4EQ49K67P.jpg)

課題3. 医用画像の描出能
知識（正常解剖3DCG）と医用画像との融合
脳幹部海綿状血管腫


# Page. 26

![Page Image](https://bcdn.docswell.com/page/DKJ4QXPM71.jpg)

課題3. 医用画像の描出能
知識（正常解剖3DCG）と医用画像との融合
脳幹部海綿状血管腫
変形
・増大方向
・距離を計測
・脳幹を超えな
い
iterative closest point法：ポリゴンのレジストレーショ
ン法


# Page. 27

![Page Image](https://bcdn.docswell.com/page/PLE1PN9Y7G.jpg)

課題3. 医用画像の描出能
知識（正常解剖3DCG）と医用画像との融合
脳幹部海綿状血管腫
spinothalamic tract
mesencephalic nucleus of V
IV
lateral lemniscus
CST
sup &amp; inf colliculus
V
principal sensory nucleus of V
central tegmental tract
tectospinal tract
tectospinal tract
・5例の海綿状血管腫
・血管腫と顔面神経核の相対位置関係を予測
motor nucleus of V
術中電気刺激で合致を確認


# Page. 28

![Page Image](https://bcdn.docswell.com/page/8GEW24Q1J2.jpg)

高精細頭部解剖アプリ 「iRis」 App Storeにて販売中
Unityで開発
臨床応用できるクオリティ
脳神経外科専門医レベルの解剖
株式会社Kompath (https://www.facebook.com/Kompath)
本研究は、内閣府 総合科学技術・イノベーション会議が主導する
革新的研究開発推進プログラム（ＩｍＰＡＣＴ）
「バイオニックヒューマノイドが拓く新産業革命」による成果です


# Page. 29

![Page Image](https://bcdn.docswell.com/page/W47ZD2WXE3.jpg)

課題4. 診断と手術検討の違い
脳動脈瘤
≠
病気の診断
（医用画像データの忠実な可視化）
患者固有のデータが扱える
手術シミュレーション
ソフトは存在しない！
手術検討（シミュレーション）
（現実空間の模倣 &amp; どう治療するか）


# Page. 30

![Page Image](https://bcdn.docswell.com/page/KYJ61VGPEV.jpg)

課題4. 診断と手術検討の違い
脳動脈瘤クリッピングシミュレーター ClipSim
Soya VIRTUAL REALITY VR 3Dグラス
Leap Motion
Shono N, et al., Oper Neurosurg. 14(5), 2018
・8症例の患者さんでシミュレーション
・6症例でシミュレーションで予想したクリップを実際に使用
した


# Page. 31

![Page Image](https://bcdn.docswell.com/page/5GJ54DVP74.jpg)

医療への応用は本当にハードルが高いのか？


# Page. 32

![Page Image](https://bcdn.docswell.com/page/4LE3GMD6J5.jpg)

課題5. 操作性（UI）
バイタルモニター
ナビゲーション
手術顕微鏡
診療端末
融合３次元画像
電気生理学的
モニタリング
・超音波
・術中X線
・術中CT
・術中MRI
・術中血管撮影
・術中蛍光造影
・
・
・
録画システム
これ以上、医療機器が増えては・・・
Amira® (Thermo Fisher SCIENTIFIC社)


# Page. 33

![Page Image](https://bcdn.docswell.com/page/V8ED16PMJG.jpg)

医用画像ビューワアプリ 「eMma」
eMma : Easy Multi-Medical image Applying
今月リリース予定（無料）
iPhoneやiPadでDICOM画像を閲覧する
だけのシンプルなアプリ
イノベーションを起こす可能性
・ありそうでなかった
・ 患者さんが自分の画像をもてる
・ どこでも簡単に医用画像が見られる
本研究は、国立研究開発法人科学技術振興機構
戦略的創造研究推進事業（社会技術研究開発）
「研究開発成果実装支援プログラム」による研究成果の一部です


# Page. 34

![Page Image](https://bcdn.docswell.com/page/4V7PQYNQJ8.jpg)

医用3DCGビューワアプリ 「Brain Viewer」
参考書の付録として作成


# Page. 35

![Page Image](https://bcdn.docswell.com/page/L2JV5GKPJQ.jpg)

課題6. 生体組織の仮想変形
物理的整合性は必要か？
・ 物理的整合性に厳密さは不要
・ 本当に見たいのは変形させた脳の奥にある解剖構造


# Page. 36

![Page Image](https://bcdn.docswell.com/page/Z5EG68QQ7L.jpg)

課題6. 生体組織の仮想変形
三叉神経痛
・脳の変形：モーフィング
・血管の移動：リギング


# Page. 37

![Page Image](https://bcdn.docswell.com/page/V4JQ49KWEP.jpg)

課題7. 視覚的リアリティの追求
聴神経腫瘍
三叉神経
前下小脳動脈
顔面神経
迷走神経
舌咽神経
聴神経
リアリティの追求もほどほどに。。。


# Page. 38

![Page Image](https://bcdn.docswell.com/page/DK74QXP1E1.jpg)

課題7. 視覚的リアリティの追求
脳動静脈奇形
1.
2.
3.
4.
5.
6.
視認性向上
観察者の負担軽減
ヒューマンエラー回避
承認欲求、モチベーション向上
特徴量抽出
画像処理の向上・発展
1.金ら、脳神経外科ジャーナル 25(8): 622-630,
2016
2. Manabe H, et al., IWAIT2014: 585-588, 2014


# Page. 39

![Page Image](https://bcdn.docswell.com/page/PLJ1PN95EG.jpg)

課題8. 流体シミュレーション
1. 数値流体力学
(CFD : computational ﬂuid dynamics)
複雑な形状は解析不可能
X
2. phase-contrast MR angiography
AP
RL
FH
微小血管は解析不可能


# Page. 40

![Page Image](https://bcdn.docswell.com/page/8GJW24QW72.jpg)

血管芽細胞腫
課題8. 流体シミュレーション
drainer 4.28 ml/min
0.89 ml/min
3.54 ml/min
7.3 ml/min
Modo®
・9例の血管芽細胞腫
・各血管の速度に順位
・術中ドップラーで検証
90%合致


# Page. 41

![Page Image](https://bcdn.docswell.com/page/W4EZD2W2J3.jpg)

いろいろなものへ応用


# Page. 42

![Page Image](https://bcdn.docswell.com/page/KY761VX6JV.jpg)

診断を支援するアプリ
Anatomical Knowledge Indicator（AKI）


# Page. 43

![Page Image](https://bcdn.docswell.com/page/5G754DX5E4.jpg)

教育への応用
様々な職種・施設で試用してもらいフィードバック
離島
放射線技師
離島の医師
医学部4年生の講義
手術見学
インドの脳神経外科教授
解剖実習
ハンズオンセミナー
色々な領域への橋渡しとしてUnityが活躍
現場で役に立っているものを教育の場へおとすことに意味がある
患者さん
学生が作ったアプリ


# Page. 44

![Page Image](https://bcdn.docswell.com/page/V9J2V8XGJR.jpg)

AR/MRの応用
脳腫瘍（脊索腫）
・視野が変わる度にレジストレーション
・奥行き情報がない
・そもそも頻繁に使用しない
ジャマと言われた・・・


# Page. 45

![Page Image](https://bcdn.docswell.com/page/5DEY368G7M.jpg)

AR/MRの応用
覚醒下手術
トラクトグラフィー
脳腫瘍
トラクトグラフィー
神経線維を可視化したもの
脳機能画像としてもっとも代表的なも
の


# Page. 46

![Page Image](https://bcdn.docswell.com/page/2VJNVZQ878.jpg)

AR/MRの応用
仮想情報でなく、現実空間情報を歪める！
術前画像
開頭直後の脳表写真
Landmark &amp; thin-plate spline method
patent 2013-103562
誤差（脳変形後）
0.64±0.88 mm (mean±SE)
n=4


# Page. 47

![Page Image](https://bcdn.docswell.com/page/GYE96ZDXE3.jpg)

自動手術シミュレーション
左顔面けいれ
ん
一番知りたいことは「高精細なCG」ではなく、「どう手術する
か」
株式会社ポケット・クエリーズと一緒に開発中
手術操作 → エキスパートシステム
モデル作成 → ディープラーニング
本研究の一部は、国立研究開発法人日本医療研究開発機構(AMED)の
【術中の迅速な判断・決定を支援するための診断支援機器・システム開発プロジェクト】
「術前と術中をつなぐスマート手術ガイドソフトウェアの開発」の 支援によるものです


# Page. 48

![Page Image](https://bcdn.docswell.com/page/5GE8Z1397D.jpg)

自動手術シミュレーション
1. モデルのポジション（体位）
・REZが視野の視野の中心
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、3cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形（リギング、有限要素）
・脳ヘラは脳槽から挿入し、正中側へ移動
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動（１本目）
・どの変形機能を実装させるかはまだ未定（リギングが候補）
・REZ部にある血管を中心として錐体骨側へ最短距離
・VII&amp;VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異な
り、尾側へ）
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line
S状静脈洞
穴（開頭）は病変とカメラ
とを一直線につなぐ円柱上
に
下項線上を移動しながら、メッシュの衝突判定によって、
S状静脈洞にわずかに（2mm）かかる位置に直径3cmの穴を開け
る


# Page. 49

![Page Image](https://bcdn.docswell.com/page/MLELDQVM7R.jpg)

自動手術シミュレーション
1. モデルのポジション（体位）
・REZが視野の視野の中心
変形表現範囲
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形（リギング、有限要素）
・変形角度と同じ
・脳ヘラは脳槽から挿入し、正中側へ移動
・先端が病変部から2cmの距離
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動（１本目）
・どの変形機能を実装させるかはまだ未定（リギングが候補）
アセット「MEGA-FIERS」を使用して脳の変形を実装
・REZ部にある血管を中心として錐体骨側へ最短距離
小脳全体の変形
・VII&amp;VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
顔面神経と90度の角度となるように設定
・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ）
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line


# Page. 50

![Page Image](https://bcdn.docswell.com/page/54JMP1G6JW.jpg)

自動手術シミュレーション
1. モデルのポジション（体位）
変形の表現のパラメータ
・REZが視野の視野の中心
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形（リギング、有限要素）
・脳ヘラは脳槽から挿入し、正中側へ移動
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動（１本目）
・どの変形機能を実装させるかはまだ未定（リギングが候補）
・REZ部にある血管を中心として錐体骨側へ最短距離
・VII&amp;VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ）
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line
変形形状の設定
今回手術する領域
アセット「MEGA-FIERS」を使用して脳の変形を実装


# Page. 51

![Page Image](https://bcdn.docswell.com/page/ZPJR1LZNJ9.jpg)

自動手術シミュレーション
シナリオシステム
・シナリオデータがあれば、自動で手術実行
手術のうまい人のシナリオデータを用いて、
→異なる症例（CG）に
→経験の浅い医師との差分
・手術手技の定量化
→技量の均てん化
→手術ロボットなどへの応用
→機械学習への応用
ポケット・クエリーズ社と一緒に開発中


# Page. 52

![Page Image](https://bcdn.docswell.com/page/NPEXYW987X.jpg)

おわりに
非連続イノベーションをおこすには
異分野間の連携が重要だと思います
ちょっと人を助けてみたい方、
医療や教育への応用に興味のある人、
お気軽にご連絡ください！！


