---
title: 可視化までのとある方法 #yjdsnight
tags:  #yjdsnight  
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/V7P99VR2J8.jpg?width=480
description: 可視化までのとある方法 #yjdsnight by Yahoo!デベロッパーネットワーク
published: December 05, 16
canonical: https://convert.docswell.com/s/ydnjp/KJY6XK-2016-12-05-141755
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/V7P99VR2J8.jpg)

可視化までのとある方法
2016年11月25日
ヤフー株式会社
三木 健司


# Page. 2

![Page Image](https://bcdn.docswell.com/page/2JVMMZRXJQ.jpg)

自己紹介
名前
• 三木 健司(みつぎ けんじ)
好きな食べ物
• からあげ


# Page. 3

![Page Image](https://bcdn.docswell.com/page/5EGGG4MREL.jpg)

アジェンダ
•
•
•
•
•
•
可視化するまでの流れ
データ加工 OTEPONの説明
ダッシュボード dClipの説明
手順
実績
今後


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JQXXGRYEP.jpg)

可視化の流れ
データ
加工
表示


# Page. 5

![Page Image](https://bcdn.docswell.com/page/K746658ZE1.jpg)

可視化の流れ
データ
加工
OTEPON
表示


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJ1VVW2DEG.jpg)

可視化の流れ
データ
加工
表示
OTEPON
dClip


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GJWLL6R8E2.jpg)

可視化の流れ
データ
加工
表示
OTEPON
dClip


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4EZMMYR9J3.jpg)

可視化の流れ
データ
加工
表示
OTEPON
dClip


# Page. 9

![Page Image](https://bcdn.docswell.com/page/Y76NNDRD7V.jpg)

データ加工ツール OTEPON
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
WebUI
Hive使用
構文チェック
必要なUDFを自動で認識
UDFは自動で更新
直ぐに結果を返す
テンプレート機能
定常的に処理する
他システムへの連携
マルチクラスター対応


# Page. 10

![Page Image](https://bcdn.docswell.com/page/G755538874.jpg)

データ加工ツール OTEPON
1. WebUI
2. Hive使用
3. 構文チェック


# Page. 11

![Page Image](https://bcdn.docswell.com/page/9J2NNZKVER.jpg)

データ加工ツール OTEPON
4. 必要なUDFを自動で認識
5. UDFは自動で更新
SELECT func(name) FROM data_night;
ADD JAR hdfs:///user/mitsugi/udf.jar;
CREATE TEMPORARY FUNCTION func AS …;


# Page. 12

![Page Image](https://bcdn.docswell.com/page/DEYPPRNQEM.jpg)

データ加工ツール OTEPON
6. 直ぐに結果を返す
実行
実行
数時間
確認
数秒
確認


# Page. 13

![Page Image](https://bcdn.docswell.com/page/VJN55DX278.jpg)

データ加工ツール OTEPON
7. テンプレート機能
SELECT count(1) FROM data_night
WHERE vol = _NUM1_ ;
SELECT count(1) FROM data_night
WHERE vol = 4;


# Page. 14

![Page Image](https://bcdn.docswell.com/page/YE9YYG8DJ3.jpg)

データ加工ツール OTEPON
8. 定常的に処理する
9. 他システムへの連携
10. マルチクラスター対応
振り分け
クラスタA
OTEPON
クラスタB


# Page. 15

![Page Image](https://bcdn.docswell.com/page/GE866V857D.jpg)

可視化の流れ
データ
加工
表示
OTEPON
dClip


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LEL995R3JR.jpg)

ダッシュボードツール dClip
1.
2.
3.
4.
任意のデータを登録
システム連携したデータを表示
折れ線、円グラフなどで表示
レイアウト変更が楽


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4JMZZ3RMEW.jpg)

dClip画面


# Page. 18

![Page Image](https://bcdn.docswell.com/page/PJR66QRL79.jpg)

手順


# Page. 19

![Page Image](https://bcdn.docswell.com/page/PEXMM5Y67X.jpg)

手順
1. クエリの作成
2. 実行
3. 登録
4. レポートの作成


# Page. 20

![Page Image](https://bcdn.docswell.com/page/3EKGG63GJD.jpg)

1. クエリの作成
SELECT gender, count(1) FROM data_night WHERE vol = 4
GROUP BY gender;


# Page. 21

![Page Image](https://bcdn.docswell.com/page/L73NN6G575.jpg)

2. 実行
待つだけ！


# Page. 22

![Page Image](https://bcdn.docswell.com/page/87DWWV1YJG.jpg)

3. 登録
データ保存先を指定
/d&amp;s/
data_night/
vol1
vol2
vol3
キー(ラベル)で識別
vol4


# Page. 23

![Page Image](https://bcdn.docswell.com/page/VJP99VQ2E8.jpg)

4. レポートの作成


# Page. 24

![Page Image](https://bcdn.docswell.com/page/2EVMMZ5XEQ.jpg)

4. レポートの作成


# Page. 25

![Page Image](https://bcdn.docswell.com/page/57GGG46R7L.jpg)

4. レポートの作成


# Page. 26

![Page Image](https://bcdn.docswell.com/page/4EQXXG4Y7P.jpg)

4. レポートの作成


# Page. 27

![Page Image](https://bcdn.docswell.com/page/KJ4665QZ71.jpg)

4. レポートの作成


# Page. 28

![Page Image](https://bcdn.docswell.com/page/LE1VVWPD7G.jpg)

4. レポートの作成


# Page. 29

![Page Image](https://bcdn.docswell.com/page/GEWLL62872.jpg)

レポート画面


# Page. 30

![Page Image](https://bcdn.docswell.com/page/47ZMMYD9E3.jpg)

レポート画面
簡単


# Page. 31

![Page Image](https://bcdn.docswell.com/page/YJ6NND1DJV.jpg)

実績


# Page. 32

![Page Image](https://bcdn.docswell.com/page/GJ555348J4.jpg)

データ量(圧縮済みで最大)
〜3.5TB/日


# Page. 33

![Page Image](https://bcdn.docswell.com/page/9E2NNZVV7R.jpg)

OTEPON処理数
約90,000/月


# Page. 34

![Page Image](https://bcdn.docswell.com/page/D7YPPR3Q7M.jpg)

dClipレポート総数
約20,000


# Page. 35

![Page Image](https://bcdn.docswell.com/page/VEN55DV2J8.jpg)

今後


# Page. 36

![Page Image](https://bcdn.docswell.com/page/Y79YYG6DE3.jpg)

データ量 増


# Page. 37

![Page Image](https://bcdn.docswell.com/page/G7866VZ5JD.jpg)

処理数 増


# Page. 38

![Page Image](https://bcdn.docswell.com/page/L7L995D3ER.jpg)

待ち時間 増


# Page. 39

![Page Image](https://bcdn.docswell.com/page/4EMZZ3PM7W.jpg)

ユーザのイライラ 増


# Page. 40

![Page Image](https://bcdn.docswell.com/page/PER66Q1LJ9.jpg)

どうするか？


# Page. 41

![Page Image](https://bcdn.docswell.com/page/P7XMM5G6JX.jpg)

技術チャレンジ 増


# Page. 42

![Page Image](https://bcdn.docswell.com/page/37KGG64GED.jpg)

ご清聴ありがとうございました


