---
title: 分散表現に基づく文書要約#yjdsw1
tags:  #yjdsw1  
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GEWL399672.jpg?width=480
description: http://yahoo-ds-event.connpass.com/event/21903/
published: December 21, 15
canonical: https://convert.docswell.com/s/ydnjp/ZXVYMK-2015-12-21-134350
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GEWL399672.jpg)

Data &amp; Science Workshop
「分散表現に基づく文書要約」
小林隼人
2015/11/11


# Page. 2

![Page Image](https://bcdn.docswell.com/page/47ZMV99RE3.jpg)

自己紹介
P2
• 名前： 小林隼人（ハヤト・コバヤシ）
• 所属： Yahoo! JAPAN 研究所(‘13年入社)
言語処理・機械学習室
• 略歴： 九大→東北大→東芝→ヤフー
• 研究歴： ロボット→学習理論→言語処理
• 最近の興味： 文書要約・生成
• 最近の成果（がんばってますアピール）
• ACL&#039;14, COLING&#039;14, PACLING&#039;15, WWW&#039;15,
ECML-PKDD&#039;15, SIGDIAL&#039;15, EMNLP&#039;15,
WSDM&#039;16, …
今日発表する内容


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ6N5KK1JV.jpg)

概要
• 論文
– Hayato Kobayashi, Masaki Noguchi, Taichi
Yatsuka, “Summarization Based on Embedding
Distributions”, EMNLP 2015
• 内容
– 最近流行っている分散表現を用いて類似度を計
算し文書要約（重要文抽出）する手法を提案
– 応用例
• 知恵袋の回答の要約
• 検索結果のスニペット
• ツイートのまとめ作成
P3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ55YPPLJ4.jpg)

分散表現
P4
• 単語やテキストの実数ベクトル表現
– 意味の近い単語は近くにマッピング
車
犬
猫


# Page. 5

![Page Image](https://bcdn.docswell.com/page/9E2NG6637R.jpg)

有名な例
P5
• king – man + woman ≒ queen
king
queen
N次元空間に
意味を埋め込
めている？
man
woman


# Page. 6

![Page Image](https://bcdn.docswell.com/page/D7YPV9987M.jpg)

今回考える問題
P6
• 文書要約を最適化問題として定式化
元文書D
要約S
文
重要文
max 𝑓 𝑆
𝑆⊂𝐷
s.t. 𝑐 𝑆 ≤ ℓ
・・・
要約の良さを表す関数
文字数制限など
ここに分散表現に基づく“意味”類似度を使う


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VEN5MLL9J8.jpg)

劣モジュラ最適化
P7
• 劣モジュラ性
– 連続関数の凸性に対応する集合関数の性質
– 貪欲法でほぼ最適(1-1/e)な近似が得られる
– [定義]集合関数𝑓: 2𝑋 → ℝが劣モジュラ ⇔
𝑆1 ⊂ 𝑆2 ⊂ 𝑋 かつ𝑥 ∈ 𝑋 ∖ 𝑆2 ならば、
𝑓 𝑆1 ∪ 𝑥
− 𝑓 𝑆1 ≥ 𝑓 𝑆2 ∪ 𝑥
− 𝑓 𝑆2
例： センサー配置問題（監視範囲の最大化）
ｆ（
）－ｆ（
）≧ｆ（
）－ｆ（
）


# Page. 8

![Page Image](https://bcdn.docswell.com/page/Y79YN443E3.jpg)

要約の場合
P8
• 元文書の内容を網羅したい→劣モジュラ
要約A ⊂ 要約B ⇒
f(A∪{s})-f(A)
要約Ａ＋文ｓ
文ｓ
≧
f(B∪{s})-f(B)
要約Ｂ＋文ｓ
文ｓ


# Page. 9

![Page Image](https://bcdn.docswell.com/page/G786KQQLJD.jpg)

修正貪欲法[Lin&amp;Bilmes, ACL2010]
• 要素のコストを考慮した貪欲法
𝑓𝐶 𝑠 ≔ 𝑓 𝐶 ∪ 𝑠
−𝑓 𝐶
𝑤𝑠 は要素𝑠の重み
（単語数、バイト数など）
P9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L7L9ZXXQER.jpg)

既存研究と本研究
P10
• [Lin&amp;Bilmes, ACL2010]
– TFIDF重みで文の類似度の和を計算
– 文書生成的手法よりも高い性能[Lin&amp;Bilmes, ACL2011]
• [Kageback+, CVSC2014]
– 分散表現で文の類似度の和を計算
– Lin&amp;Bilmesよりも高い性能
• 本研究（課題と解決法）
– 文書の類似度に基づく目的関数を２つ提案
• 個別スコアの高い文集合が全体最適とは限らない


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EMZVL3K7W.jpg)

文書ベクトルに基づく類似度
P11
• 元文書と要約のコサイン類似度で定義
𝑓 𝐶𝑜𝑠
𝒗𝐷 : =
𝒗𝐶 ⋅ 𝒗𝐷
𝐶 ≔
𝒗𝐶 𝒗𝐷
𝑠∈𝐷
𝑤∈𝑠
𝑤
文書と要約のベクトルは
単語ベクトルの和で定義
定理１．𝑓 𝐶𝑜𝑠 は劣モジュラ関数ではない
元文書
要約


# Page. 12

![Page Image](https://bcdn.docswell.com/page/PER62KQ6J9.jpg)

点分布に基づく類似度（１）
• 分散表現を点分布のまま扱う
– 単一文書ベクトルは作らない
– （文の分布でも良い）
P12
要約Aの
点分布
元文書の
点分布
要約Bの
点分布
f(要約A)&gt;f(要約B)
となるようにfを定義


# Page. 13

![Page Image](https://bcdn.docswell.com/page/P7XMDL5DJX.jpg)

点分布に基づく類似度（２）
P13
• 直感：分布が似ている⇒近傍点が近くにある
要約Aの
点分布
要約Bの
点分布
最近傍点までの距離の（負の）和でｆを定義する


# Page. 14

![Page Image](https://bcdn.docswell.com/page/37KGXL6DED.jpg)

点分布に基づく類似度（３）
P14
• 元文書分布の各点における、要約分布上の
最近傍点までの距離の和で非類似度を表す
𝑓 𝑁𝑁 𝐶 ≔ −
𝑔(𝑁 𝑤, 𝐶 )
𝑠∈𝐷 𝑤∈𝑠
𝑁 𝑤, 𝐶 ≔ min 𝑑 𝑤, 𝑣
𝑣∈𝑠:𝑠∈𝐶
𝑤≠𝑣
関数ｇは単調非減少な
距離のスケーリング関数
関数Nは単語ｗからの
要約C中の最近傍距離
定理２．𝑓 𝑁𝑁 は単調劣モジュラ関数である
定理３． 𝑔 𝑥 = ln 𝑥のとき𝑓 𝑁𝑁 の大小は漸近的にKLDと一致する
元文書𝐷、要約𝐶1 , 𝐶2 について、 𝐷 ∽ 𝑝, 𝐶1 ∼ 𝑞, 𝐶2 ∼ 𝑟 とすると漸近的に
𝔼[𝑓 𝑁𝑁 𝐶2 ] − 𝔼[𝑓 𝑁𝑁 (𝐶1 )] &gt; 0 ⇔ 𝐷𝐾𝐿 (𝑝 ∥ 𝑞) − 𝐷𝐾𝐿 (𝑝 ∥ 𝑞) &gt; 0
（[Perez-Cruz, NIPS2009][Wang+, TIT2009]などを使う）


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LJ3N536PJ5.jpg)

データセットと評価指標
• Opinosis Dataset
P15
[Ganesan+, COLING2010]
– ５１トピック（ホテル、車、製品など）のユーザレビュー
– 各トピックに５０～５７５文
– 各トピックに４，５人が作ったサマリ（１～３文）
• ROUGE-N指標
[Lin, WAS2004]
– 人が作ったサマリとのNグラム共起割合
– 翻訳の評価で使われるBLEUに似た評価値
• BLEUは適合率重視、ROUGEは再現率重視
– ROUGE-1が最も人のサマリと当てはまりが良い
• [Lin&amp;Hovy, NAACL2003]


# Page. 16

![Page Image](https://bcdn.docswell.com/page/8JDWD4V3EG.jpg)

実験結果
•
•
•
•
•
P16
DocEmb: 修正貪欲法＋ 𝑓 𝐶𝑜𝑠 （文書ベクトル）
EmbDist: 修正貪欲法＋ 𝑓 𝑁𝑁 （点分布） s.t. 𝑔(𝑥) = ln(𝑥), 𝑥, 𝑒 𝑥
SemEmb: [Kageback et al. CVSC2014]
TfIdf: [Lin and Bilmes, ACL2011]
ApxOpt: 修正貪欲法＋ROUGE-1
近似最適解
提案法
既存手法
EmbDistが最も適した評価指標ROUGE-1で最高性能


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VEP9XMVP78.jpg)

まとめ
P17
• 分散表現に基づく文書類似度を提案し、比較実
験により提案手法の優位性を示した
• 今後の課題
– クエリを考慮した類似度
• 検索結果の要約に応用
• 歪めた分布のKLD?
– Earth Mover’s Distance(EMD)との関係
• 𝑔(𝑥) = 𝑥のときEMDの下界になる[Cusner+, ICML2015]
– 実数空間の技を言語処理に使う


# Page. 18

![Page Image](https://bcdn.docswell.com/page/27VML9ZV7Q.jpg)

P18
• ご清聴ありがとうございました！
EMNLP2015会場の様子（リスボン）


