---
title: 崩れた手書き文字データセット構築と平均化による可読性向上の検証
tags: 
author: [Nakamura Laboratory (Meiji University)](https://convert.docswell.com/user/nkmr-lab)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Z5EGZG2W7L.jpg?width=480
description: コンピュータやスマートフォンが普及した現在においても，手書き文字を使う機会は多くある．また，自分の手書きに対して苦手意識を持っている人たちもいる．これまでの研究で，複数の手書き文字を合成し平均化した文字が綺麗であることや，それを用いた手書き平均化アプリケーションも実装されている．しかし，立った状態でメモを走り書きするなどのシーンのように，手書きが崩れてしまったものを読めるようにできるかについての検討は，十分に行われてこなかった．そこで本研究では，崩れた手書き文字データセットを構築するための手法について検討を行うとともに，構築したデータセットを用いて平均化によって美化し，読めるようにすることができるかを検証した．検証の結果，平均化によって可読性が向上することがわかった．また手書きの可読化においてユーザ間に相性が示唆された．
published: August 15, 19
canonical: https://convert.docswell.com/s/nkmr-lab/KJQDM5-ss-164003636
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Z5EGZG2W7L.jpg)

崩れた手書き文字
データセット構築と
平均化による可読性向上の検証
二宮 洸太（明治大学総合数理学部 3年）
又吉 康綱，中村 聡史
第184回 HCI研究会
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V4JQLXPQEP.jpg)

背景
日常生活でよく使う手書き文字
しかし，
・人によっては苦手
・他人に見せることを躊躇う
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DK74D6YYJ1.jpg)

背景
手書きに関する調査*
恥ずかしいと感じる
苦手意識がある
64.3%
58.0%
*株式会社ゼブラ 2014，2015
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PLJ1ZV6N7G.jpg)

背景
手書きに関する調査*
恥ずかしいと感じる
苦手意識がある
64.3%
58.0%
多くの人が手書きに
コンプレックスをもっている
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/8GJW9L4MJ2.jpg)

実際に文字が崩れるケース
メモ書き
・急いで書く
・立ったまま
・電話しながら
・他の文書を見ながら
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/W4EZ9M2ME3.jpg)

動機
崩れた文字を読めるように
支援したい
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/KY76KNV57V.jpg)

これまでの研究
平均化手法を用いた手書きの美化を行なってきた
平均化
数式化
文字A
𝑥
𝑦 =
𝑥1
𝑥𝑛
,
…
,
𝑦1
𝑦𝑛
手書きを点集合
として取得
𝑥
𝑦 =
𝑥1
𝑥1.1
𝑥1. 𝑚
𝑥𝑛
,
,
,
…
,
𝑦1
𝑦1.1
𝑦1. 𝑚
𝑦𝑛
𝑥 =𝑓 𝑡
𝑦 = 𝑔(𝑡)
スプラインに
フーリエ変換によって
よって点を補完 ストロークを数式化
文字B
平
均
化
平均文字
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/5G75P5DG74.jpg)

これまでの研究
自身の平均文字は美しい [中村ら 2014]
複数の文字を平均化した平均文字は手書き文字よりきれい
他者との融合文字は好感度が向上 [斉藤ら 2016]
他者と融合すると好感度が高い
Mojirage: 平均手書きノート [又吉ら 2017]
自身と他者との平均化によるきれいなノート作成アプリケーション
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/V9J26N8DER.jpg)

これまでの研究
利き手・非利き手の平均文字は類似 [佐藤ら 2018]
利き手・非利き手の文字は類似する
この中で，非利き手で書いた文字が平均化によって
きれいになることが示された
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5DEY9P6M7M.jpg)

これまでの研究
利き手・非利き手の平均文字は類似 [佐藤ら 2018]
利き手・非利き手の文字は類似する
この中で，非利き手で書いた文字が平均化によって
きれいになることが示された
これらは十分に読める文字での研究
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2VJNL5Z3E8.jpg)

これまでの研究
利き手・非利き手の平均文字は類似 [佐藤ら 2018]
利き手・非利き手の文字は類似する
この中で，非利き手で書いた文字が平均化によって
きれいになることが示された
崩れた文字に平均化は使えるのか？
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GYE94YZP73.jpg)

本研究の目的
崩れた手書き文字に対して平均化によって
可読性が向上するかを検証
崩れた文字同士を平均化して読めるようになるか
平
均
化
崩れた文字A
崩れた文字B
?
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/5GE8Q61X7D.jpg)

本研究の検証内容
(1) 平均化手法によって崩れた手書き文字を
可読化できるか
(2) 平均化に際して，ユーザ間に相性はあるのか
14


# Page. 14

![Page Image](https://bcdn.docswell.com/page/MLELX9QNER.jpg)

本研究の概要
(1) 崩れた手書き文字のデータセットを構築
(2) データセットをもとに平均文字を作成
(3) 平均化前後を比較し，可読性を評価する実験
(4) 評価結果をもとに可読性と相性を検証
15


# Page. 15

![Page Image](https://bcdn.docswell.com/page/54JMLZ1Q7W.jpg)

崩れた手書き文字データセット構築
崩れた手書き文字データを収集したい
・先行研究が見つからない
・通常通り書いても崩れない
データセット構築手法を模索
崩れる状況を仮定し，検証
検証結果をもとに構築を行う
16


# Page. 16

![Page Image](https://bcdn.docswell.com/page/ZPJRK6LK79.jpg)

データセット構築の流れ
(1) どのようにすれば文字が崩れるかを調べる，
予備実験を実施
(2) 予備実験の結果を踏まえて，本実験として
データセットを構築する
17


# Page. 17

![Page Image](https://bcdn.docswell.com/page/NPEXLMW5EX.jpg)

予備実験
検証内容
(1) 用いる文字の検証
(2) 制限時間の検証
(3) 設定した環境でどのように文字が崩れるか
18


# Page. 18

![Page Image](https://bcdn.docswell.com/page/63EKLGVR7D.jpg)

予備実験
文字の選定
漢字出現順位対応表(文化庁)を中心に50字選定
簡単すぎる文字は除く ex. 一，中，十
制限時間
画数に合わせて設定
急いで書けば，書き終えられる時間
19


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4L733NMG75.jpg)

実験設計 – 環境設定
立った状態
座った状態
手元を見ない状態
＊データセット構築はペンタブ型端末を使用
20


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V87D4W6NEG.jpg)

データセット構築システム
文字を書いてもらい，
保存する
シーケンスバーによって
時間を制限
21


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4VJPM9YNJ8.jpg)

予備実験
大学生12名(男性11名，女性1名)
合計600回
22


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L2EV9MGY7Q.jpg)

結果 – 予備実験
実際に得られた文字の例
立った
かかえた
手元を見ない
23


# Page. 23

![Page Image](https://bcdn.docswell.com/page/Z57GZG8WJL.jpg)

結果 – 予備実験
実際に得られた文字の例
立った
かかえた
手元を見ない
24


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V4EQLX9Q7P.jpg)

結果 – 予備実験
複雑な文字の方が崩れやすい
シンプルな文字
複雑な文字
25


# Page. 25

![Page Image](https://bcdn.docswell.com/page/DKJ4D6XYE1.jpg)

結果 – 予備実験
複雑な文字の方が崩れやすい
シンプルな文字
複雑な文字
26


# Page. 26

![Page Image](https://bcdn.docswell.com/page/PLE1ZVNNJG.jpg)

結果 – 予備実験
時間内に書ききれていない文字が散見された
27


# Page. 27

![Page Image](https://bcdn.docswell.com/page/8GEW93MME2.jpg)

結果 – 予備実験
時間内に書ききれていない文字が散見された
28


# Page. 28

![Page Image](https://bcdn.docswell.com/page/W47Z9VQM73.jpg)

結果まとめ – 予備実験
・手元を見ないが崩れやすい
・複雑な文字が崩れやすい
・制限時間内に書ききれていない場合がある
29


# Page. 29

![Page Image](https://bcdn.docswell.com/page/KYJ6K565JV.jpg)

データセット構築本実験
予備実験の結果を踏まえ
条件を手元を見ないに限定
複雑な文字を中心に選定
時間遵守
→ 書き終えるよう指示
→ 制限時間内に書き始めた一画は有効とした
30


# Page. 30

![Page Image](https://bcdn.docswell.com/page/5GJ5PY6GJ4.jpg)

データセット構築本実験
ディスプレイを使用
手元を見ない方法の統一
筆跡は非表示
必要情報を常に提示
31


# Page. 31

![Page Image](https://bcdn.docswell.com/page/4LE335QPE5.jpg)

データセット構築本実験
ディスプレイを使用
手元を見ない方法の統一
提示情報
筆跡は非表示
・制限時間
必要情報を常に提示
・書く文字情報
・タスクの進捗
32


# Page. 32

![Page Image](https://bcdn.docswell.com/page/V8ED4D93JG.jpg)

データセット構築本実験
50字 × 2回を1セットとして5セット(500回)
使用した文字
私
他
場
新
現
時
気
年
書
最
的
会
家
度
身
者
思
長
戦
情
削
貝
国
意
野
事
学
動
通
教
見
部
理
屋
語
後
物
発
感
顔
前
恩
高
業
機
間
地
実
持
数
33


# Page. 33

![Page Image](https://bcdn.docswell.com/page/4V7PMXZP78.jpg)

データセット構築本実験
大学生20名(男性10名，女性10名)
合計10,000個のデータを収集
最
野
顔
後
34


# Page. 34

![Page Image](https://bcdn.docswell.com/page/L2JV9LWVEQ.jpg)

データセット構築本実験まとめ
・手元を見ない状態で書いた，崩れた文字
データセットを構築(10,000データ)
・複雑な文字が中心
35


# Page. 35

![Page Image](https://bcdn.docswell.com/page/Z5EGZXD17L.jpg)

評価実験 – 概要
・平均化による可読性の向上を調べる
・2人のユーザの文字を平均化し，可読性を評価
「教」という文字です，読めますか？
平
均
化
平均化前の文字
平均化相手の文字
平均文字
平均化前の文字
平均文字
36


# Page. 36

![Page Image](https://bcdn.docswell.com/page/V4JQL81NEP.jpg)

評価実験 – 文字ユーザ
平
均
化
平均化前の文字
平均化相手の文字
平均文字
・平均化前の比較元となる文字
・userα(β)と平均化する相手
・全20人の中から崩れ方が顕著な
2人を選択(userα，userβ)
・userα(β)自身を除く19人
37


# Page. 37

![Page Image](https://bcdn.docswell.com/page/DK74D2R3J1.jpg)

評価実験
文字
崩れ方が顕著な6文字を使用
教，業，実，場，度，動
38


# Page. 38

![Page Image](https://bcdn.docswell.com/page/PLJ1ZMQZ7G.jpg)

評価実験 – 平均化
合計237種の平均文字が作成
1文字につき10種を選定
合計120種を使用
39


# Page. 39

![Page Image](https://bcdn.docswell.com/page/8GJW93M6J2.jpg)

平均化前の文字
userα
userβ
42


# Page. 40

![Page Image](https://bcdn.docswell.com/page/W4EZ9VQRE3.jpg)

評価実験 – 平均文字の一例
userα
userβ
44


# Page. 41

![Page Image](https://bcdn.docswell.com/page/KY76K5617V.jpg)

評価実験
大学生14名(男性7名，女性7名)
平均化前後の文字を上下に配置
何の文字かを提示し，4択で評価
47


# Page. 42

![Page Image](https://bcdn.docswell.com/page/5G75PY6L74.jpg)

結果 – 評価実験
平均化後だけ読める → 可読性が向上
可読性が向上したと判断された文字数
120データ中
115 データ
48


# Page. 43

![Page Image](https://bcdn.docswell.com/page/V9J26GM3ER.jpg)

結果 – 評価実験
平均化後だけ読める → 可読性が向上
可読性が向上したと判断された文字数
120データ中
115 データ
平均化によって可読性が向上
49


# Page. 44

![Page Image](https://bcdn.docswell.com/page/5DEY9VX87M.jpg)

可読性が向上した文字の例
51


# Page. 45

![Page Image](https://bcdn.docswell.com/page/2VJNLM19E8.jpg)

考察 – ユーザ間相性調査
2人のユーザの文字を平均化した
平
均
化
userα(β)の文字
平均化相手の文字
平均文字
53


# Page. 46

![Page Image](https://bcdn.docswell.com/page/GYE94N5373.jpg)

考察 – ユーザ間相性調査
2人のユーザの文字を平均化した
平
均
化
userα(β)の文字
平均化相手の文字
このようなユーザ間に相性があるか検証
平均文字
54


# Page. 47

![Page Image](https://bcdn.docswell.com/page/5GE8QKYL7D.jpg)

考察 – ユーザ間相性調査
可読化割合(R)を定義
平均化後のみ読めると判断した人数（人）
𝑅=
(0 ≤ 𝑅 ≤ 1)
平均化前読めないと判断した人数（人）
*ただし分母が0より大きいデータに限定
1に近いほど多くの人が読めるようになったと判断
55


# Page. 48

![Page Image](https://bcdn.docswell.com/page/MLELXZ4QER.jpg)

考察 – ユーザ間相性調査
表は分母が10人以上のデータのみ
平
均
化
前
の
文
字
ユ
|
ザ
平均化相手の文字ユーザ
userA
userα
0.211
userβ
0.548
userK
userα
userβ
データ
不足
0.188
userC
データ
不足
0.519
userM
0.478
データ
不足
userD
0.357
データ
不足
userN
0.200
0.636
userE
userF
userI
0.195
0.146
0.297
0.449
0.395
0.443
userO
0.190
データ
不足
userP
0.100
データ
不足
userQ
userJ
0.160
データ
不足
userR
0.143
0.470
0.500
0.650
56


# Page. 49

![Page Image](https://bcdn.docswell.com/page/54JMLVZK7W.jpg)

考察 – ユーザ間相性調査
表は分母が10人以上のデータのみ
平
均
化
前
の
文
字
ユ
|
ザ
平均化相手の文字ユーザ
userA
userα
0.211
userβ
0.548
userK
userα
userβ
データ
不足
0.188
userC
データ
不足
userD
0.357
userE
0.195
userF
0.146
0.449
0.395
0.519 データ
userRはuserα，β
不足
どちらとも高い
userM
userN
userO
userP
0.478
データ
不足
0.200
0.636
0.190
データ
不足
0.100
データ
不足
userI
0.297
0.443
userQ
userJ
0.160
データ
不足
userR
0.143
0.470
0.500
0.650
58


# Page. 50

![Page Image](https://bcdn.docswell.com/page/ZPJRK26679.jpg)

userRとの平均文字の例
平
均
化
userα
userR
平
均
化
userβ
userR
59


# Page. 51

![Page Image](https://bcdn.docswell.com/page/NPEXLDMDEX.jpg)

考察 – ユーザ間相性調査
可読化割合が高いものが観測された
ユーザ間に相性がある可能性が
示唆された
60


# Page. 52

![Page Image](https://bcdn.docswell.com/page/63EKLXGD7D.jpg)

検証結果
(1) 平均化手法によって崩れた手書き文字を
可読化できるか
可読化できる
(2) 平均化に際して，ユーザ間に相性はあるのか
相性が示唆された
61


# Page. 53

![Page Image](https://bcdn.docswell.com/page/4L7335NP75.jpg)

読めるようにならなかったもの
可読化できなかったものもある
業
実
度
62


# Page. 54

![Page Image](https://bcdn.docswell.com/page/V87D4DW3EG.jpg)

展望 – 筆談アプリへの応用
崩れた文字は平均化によって可読化できる
崩れた文字を可読化するアプリケーションの実装
筆談
聴覚障害者の方が多く用いる
・タイピングではなく手書きを見せたい
・崩れた手書きは恥ずかしい
64


# Page. 55

![Page Image](https://bcdn.docswell.com/page/4VJPMX9PJ8.jpg)

まとめ
・崩れた文字データセットを構築した
・崩れた文字は平均化によって可読性が向上する
・ユーザ間の相性が示唆された
平
均
化
65


