---
title: 第４回 NIPS+読み会・関西 発表資料 山本
tags: 
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/2JVMWQ8PJQ.jpg?width=480
description: Variational Recurrent Adversarial Deep Domain Adaptation
published: November 09, 17
canonical: https://convert.docswell.com/s/ydnjp/K2YVRK-2017-11-09-153354
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/2JVMWQ8PJQ.jpg)

Variational Recurrent Adversarial Deep
Domain Adaptation
2017-06-29
NIPS+読み会・関西 第4回
Yasuo YAMAMOTO
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/5EGGDW5QEL.jpg)

自己紹介
山本 康生 (Yasuo Yamamoto)
所属：データ＆サイエンス サイエンス本部＠大阪オフィス
担当：広告サイエンス
経歴：
• Yahoo! JAPAN 在籍
• これまで京阪奈地区で研究開発(NICT, ATRなど）
• KaggleTop10%入賞とか Airbnb(143rd/1462)、HomeDept(85th/2125)
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4JQX13ZWEP.jpg)

本論文について
Variational Recurrent Adversarial
Deep Domain Adaptation
Sanjay Purushotham*,Wilka Carvalho*, Tanachat Nilanon, Yan Liu ＠南カリフォルニア大学
ICML 2017 accepted paper
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/K746R131E1.jpg)

本テーマの課題
教師ありデータが不足している
• 現状、教師ありデータが溜まった特定の分野で
しか精度の高いモデルが構築できない
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LJ1VQG15EG.jpg)

転移学習のモチベーション
じゃあモデルを転移しよう
“転移学習しよう”
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GJWLMK8WE2.jpg)

転移学習の問題設定
Source Domain
6
Target Domain
𝑌𝑠
𝑌𝑇
𝑋𝑠
𝑋𝑇
1.データが異なる場合
𝑋𝑠 ≠ 𝑋𝑡
2.データの分布が異なる
𝑃(𝑋𝑠 ) ≠ 𝑃(𝑋𝑡 )
3.ラベルが異なる
𝑌𝑠 ≠ 𝑌𝑡
4.ラベルの分布が異なる
𝑃(𝑌𝑠 ) ≠ 𝑃(𝑌𝑡 )


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4EZMQZ82J3.jpg)

本研究が扱う転移学習の課題
Source Domain
Target Domain
𝑌𝑠
𝑋𝑠
𝑋𝑇
ドメイン転移
Domain Adaptation
7
1.データが異なる場合
𝑋𝑠 ≠ 𝑋𝑡
2.データの分布が異なる
𝑃(𝑋𝑠 ) ≠ 𝑃(𝑋𝑡 )
3.ラベルが異なる
e.g.) ドメインが異なる例
𝑌𝑠 ≠ 𝑌𝑡
年齢別の薬品の効果予測
4.ラベルの分布が異なる
地域別のレコメンデーション
𝑃(𝑌𝑠 ) ≠ 𝑃(𝑌𝑡 )


# Page. 8

![Page Image](https://bcdn.docswell.com/page/Y76N6ZK67V.jpg)

転移学習の取組み
Reducing the domain discrepancy between the source and target
domains(Ben-David et al. (2007))
ドメイン不一致度を低減する手法
Instance re-weighting (Jiang &amp; Zhai (2007))
学習に優良なインスタンスの重み付けを行う
Subspace alignment (Fernando et al. (2013))
ドメイン間の部分空間のマッピング関数を学習する手法
Deep learning (Tzeng et al. (2015); Ganin &amp; Lempitsky (2014))
Deep Featureなど深層学習から得られる特徴量の転移
Deep Transfer Learning with Joint Adaptation Networks ;(Mingsheng
Long, Jianmin Wang, Michael I. Jordan(2016))
特徴量とラベルの結合分布をヒルベルト空間にマッピングする手法
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/G7556WP574.jpg)

転移学習の取組み
Reducing the domain discrepancy between the source and target
domains(Ben-David et al. (2007))
ドメイン不一致度を低減する手法
Instance re-weighting (Jiang &amp; Zhai (2007))
学習に優良なインスタンスの重み付けを行う
Subspace alignment (Fernando et al. (2013))
ドメイン間の部分空間のマッピング関数を学習する手法
時系列データなどには最適でない
Deep learning (Tzeng et al. (2015); Ganin &amp; Lempitsky (2014))
Deep Featureなど深層学習から得られる特徴量の転移
Deep Transfer Learning with Joint Adaptation Networks ;(Mingsheng
Long, Jianmin Wang, Michael I. Jordan(2016))
特徴量とラベルの結合分布をヒルベルト空間にマッピングする手法
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/9J2NMQ6GER.jpg)

本研究のシナリオ
時系列隠れ変数の依存性を考慮する
教師なしドメイン適応を実現する
実際の医療データを使って実験する
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/DEYPXW9GEM.jpg)

本研究の提案
Variational Recurrent Neural Network
Domain Adversarial Neural Networks
VRNN
DANN
(Chung et al. (2016))
(Ganin et al. (2016))
Variational Recurrent Adversarial Deep Domain Adaptation
VRADA
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VJN519L878.jpg)

先行研究の特徴
Variational Recurrent Neural Network
Domain Adversarial Neural Networks
VRNN
DANN
(Chung et al. (2016))
(Ganin et al. (2016))
隠れ変数をドメインラベルで
Adversarial Trainingする
タイムステップが異なる時系列デー
タの隠れ変数モデリングに強い
Variational Recurrent Adversarial Deep Domain Adaptation
VRADA
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/YE9Y524XJ3.jpg)

VRADA グラフィカル・モデル
: VRNN - Variational Recurrent Neural Network
: DANN - Domain Adversarial Neural Networks
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GE86Y5Q97D.jpg)

VRADA グラフィカル・モデルの処理
: inference process
: generation process
: recurrent process
: classification
𝑧: latent variable
ℎ: hidden state
𝑥: data
𝐺𝑦: DNN for a label
𝐺𝑔: DNN for a domain
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LEL94YXMJR.jpg)

VRNNの目的関数
Encoder:
Prior:
DNN
DNN
Decoder:
DNN
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4JMZKNL6EW.jpg)

VRNNの目的関数
KL-Divergence
推論モデル：
𝑖
𝑖
𝑞𝜃𝑒 𝑧𝑡𝑖 𝑥≤𝑡
, 𝑧&lt;𝑡
過去のモデル:
𝑖
𝑖
𝑝 𝑧𝑡𝑖 𝑥&lt;𝑡
, 𝑧&lt;𝑡
生成モデル:
𝑖
𝑖
𝑝𝜃𝑔 𝑥𝑡𝑖 𝑧≤𝑡
, 𝑥&lt;𝑡
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/PJR6XDKN79.jpg)

DANN分類正則化項の追加
分類正則化項
分類正則化項：
DNN
DNN
17
正解レベル
ドメインラベル


# Page. 18

![Page Image](https://bcdn.docswell.com/page/PEXM61L87X.jpg)

VRADAの目的関数
RNN項
ラベル分類項
ドメイン分類項
𝑁: 全サンプル数
𝑇: 対象時間
𝑛: ソースドメイン・サンプル数
𝑛′: ターゲットドメイン・サンプル数
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/3EKG12LLJD.jpg)

最適化とパラメータ更新
Generator, Encoder, クラス分類
のパラメータを求める
ドメイン分類のパラメータを求める
SGDで更新
𝜂: 学習率
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/L73NQ43675.jpg)

実験データ
MIMIC-III
• 匿名化された成人38,645人と新生児7,875人の入院
記録58,000件以上
https://physionet.org/physiobank/database/mimic3cdb/
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/87DW9Q4MJG.jpg)

実験データ:MIMIC-III
AHRF(急性低酸素呼吸不全)データセット
患者分類
ドメイン
説明
サンプル数
成人
グループ2
20〜45歳
508
グループ3
46〜65歳
1,888
グループ4
66〜85歳
2,394
グループ5
85歳以上
437
グループ1
0〜１９歳
398
子供
ICD9 データセット
変数
説明
𝑋
患者の体液（インスリンなど）
臨床検査結果（pH値、血小板数など）
処方イベント（アスピリン、塩化カリウムの詳報など）
𝑦
21
ICD9診断コード


# Page. 22

![Page Image](https://bcdn.docswell.com/page/VJP9ZLMQE8.jpg)

問題設定
死亡率予測
ICD9診断コード予測
ドメイン適応タスク
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/2EVMWQ9PEQ.jpg)

死亡率予測の結果
提案手法は
死亡率推定
で良い結果
Domain Adaptationなし
23
Domain Adaptationあり


# Page. 24

![Page Image](https://bcdn.docswell.com/page/57GGDWZQ7L.jpg)

ICD9診断コード予測
提案手法はICD9診断コー
ド予測でもで良い結果
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/4EQX13LW7P.jpg)

ドメイン適応3-4,2-5：ニューロン発火状態
提案手法はSource-Target間で
ニューロンの励起が似ている
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/KJ46R1D171.jpg)

ドメイン適応3-4,2-5：ドメイン適応・時間推移
提案手法はニューロンの時系列
遷移を鮮明に表現している
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LE1VQGZ57G.jpg)

t-SNEプロジェクション
提案手法はTargetとSourceが分離
されることなく表現できている
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GEWLMK9W72.jpg)

VRADAのまとめ
時系列データに対するドメイン遷移を効果的に実現
ヘルスケア領域の実データに対しても優れた精度を達成
他手法と比べ時系列潜在変数を的確に表現可能
他手法と比べドメイン間のデータ分離を削減
28


