---
title: cloudpack的 AWS徹底活用によるビッグデータ攻略術
tags:  #aws #big data #iot  
author: [後藤 和貴](https://convert.docswell.com/user/kazgoto)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8EDWRZX57G.jpg?width=480
description: 2015.9.28にAWS大阪で行われた「ビッグデータ &amp; IoT “まるごと” お任せセミナー」で話したインフラ目線でのビッグデータ基盤攻略ネタ（事例中心）です。AWS、クニエ、cloudpackの3社で講演しました。
published: September 28, 15
canonical: https://convert.docswell.com/s/kazgoto/ZMMELZ-cloudpack-aws
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8EDWRZX57G.jpg)

2015.9.28
ビッグデータ &amp; IoT “まるごと” お任せセミナー
cloudpack的
AWS徹底活用によるビッグデータ攻略術
アイレット株式会社


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7P9WDPDJ8.jpg)

執行役員 / エバンジェリスト
後藤 和貴
@kaz_goto


# Page. 3

![Page Image](https://bcdn.docswell.com/page/2JVM812GJQ.jpg)

☁ cloudpack事業 執行役員
•
エバンジェリスト
•
マーケティング担当（PR、ウェブ…）
☁ バックグラウンド
執行役員 / エバンジェリスト
後藤 和貴
@kaz_goto
•
Oracle カスタマーサポート→開発
•
ビジネス・アーキテクツ
•
テクニカルディレクター（フリーランス）


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5EGG52LDEL.jpg)

アイレット株式会社
設立 2003年10月15日
資本金 7,000万円
代表者 齋藤 将平
従業員数 100名（2015年9月現在）
事業内容 システム開発・保守
マネジドホスティング


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JQXZPYXEP.jpg)



# Page. 6

![Page Image](https://bcdn.docswell.com/page/K7463YW2E1.jpg)

AWSを活用しながらビジネスに集中できる
コンシェルジュサービス


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LJ1V16YKEG.jpg)

cloudpackビジネス
設計支援
コンサル
MSP
運用保守
システム
開発


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJWL8WGPE2.jpg)

24時間365日
監視運用保守
企業
定額課金/
請求書払い
Pマーク、ISMS、PCI DSS取得済みの運用体制
AWS


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EZM85L6J3.jpg)

プレミアコンサルティングパートナー
全世界2222社中
アジア地域 4 社
最上位パートナー
Premier &gt; Advanced &gt; Standard &gt; Registered
3年連続は2社のみ


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y76NP9WL7V.jpg)

5年間AWSのみで運用保守
4社
5年間
500
800
プロジェクト超
社超


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G755KNMM74.jpg)

ワンストップでシステム開発から運用保守まで


# Page. 12

![Page Image](https://bcdn.docswell.com/page/9J2NW59RER.jpg)

企業規模別 cloudpack利用比率
36
%
中小企業
27
%
中堅企業
37
%
大企業


# Page. 13

![Page Image](https://bcdn.docswell.com/page/DEYPLK45EM.jpg)

cloudpackの主な利用状況
Web系
91
％
うち33%が
ソーシャルゲームや
メディアサイト


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJN54RY478.jpg)



# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE9YQMP4J3.jpg)

クラウド
導入事例
100
(※)
※ 2015年6月時点


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE86GLDV7D.jpg)

cloudpack事例


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LEL9GLMRJR.jpg)

confidential
クライアント
株式会社ユニクロ
制作
株式会社マウント


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JMZQMYPEW.jpg)

confidential
お題「絶対に落とさないこと」


# Page. 19

![Page Image](https://bcdn.docswell.com/page/PJR68V9Y79.jpg)

confidential


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PEXM8ZQ47X.jpg)

confidential
担当者「え？CM打ったらどれだけアクセスくるか…」


# Page. 21

![Page Image](https://bcdn.docswell.com/page/3EKGK89PJD.jpg)

confidential
キャンペーン期間外
サーバー性能強化
台数も増加
アクセス状態を見て
途中でスペックダウン
結果発表のため
静的なコンテンツのみ
キャンペーン期間中


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L73NZ2W475.jpg)

confidential
ポイント
キャンペーン開始時に絶対に落ちない構成
•
•
一時的に最強スペックにすることも可能
冗長構成が取られていればサイトを停止せずに増強も
キャンペーンが終われば最小構成に変更可能
•
不要なサーバーは状態をそのまま保存して、
次回面倒な構築無しにそのまま利用可能


# Page. 23

![Page Image](https://bcdn.docswell.com/page/87DWRZK5JG.jpg)

confidential
クライアント
サントリー
制作
TYO/ID


# Page. 24

![Page Image](https://bcdn.docswell.com/page/VJP9WDKDE8.jpg)

confidential
お題「1日だけネット上でフェスするけど」


# Page. 25

![Page Image](https://bcdn.docswell.com/page/2EVM81VGEQ.jpg)

confidential


# Page. 26

![Page Image](https://bcdn.docswell.com/page/57GG521D7L.jpg)

confidential
担当者「え？1日のためにサーバー購入するの？」


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4EQXZPDX7P.jpg)

confidential
フェス開催中
平常時
フェス開始
ウェブサーバー
サーバー台数
増やすのは
1台数分レベル
フェス終了
サーバー台数
減らすのは一瞬
データベース データベース
冗長構成
（片方落ちても大丈夫）
30台 構成
フェス当日だけ 1台→
1日分=8万円だけ
費用は
通常約240万円/月のところ


# Page. 28

![Page Image](https://bcdn.docswell.com/page/KJ463YZ271.jpg)

confidential
ポイント
ライブのようなアクセスにも耐えうる構成も実現
可能
•
•
•
事前にサーバー調達が不要、時期が来たら増やすだけ
わずか数日分のコストだけ追加になる
事前テストも容易にできる
サーバーをコピーし利用する
•
フェス時に各サーバーを1から構築するのは不要となるため、
構築作業を大幅に減らせる


# Page. 29

![Page Image](https://bcdn.docswell.com/page/LE1V16RK7G.jpg)

confidential
クライアント
トヨタ自動車
トヨタメディアサービス


# Page. 30

![Page Image](https://bcdn.docswell.com/page/GEWL8W1P72.jpg)

トヨタ公式ウェブサイト
☁ 月間1億PV 45億ヒット、
新車発表時3倍のアクセス
☁すべてのサイトで複数サーバー
開発環境なども含め、
計100台以上
☁東京リージョン障害時に
シンガポールで復旧可能
toyota.jp
lexus.jp
www.toyota.co.jp
m.toyota.jp
www.toyota-global.com
s-api.etoyota.net
etoyota.net


# Page. 31

![Page Image](https://bcdn.docswell.com/page/47ZM85P6E3.jpg)

別ロケーションでの復旧
☁ 災害時シンガポールにほぼ自動的に環境構築
☁ テンプレート（レシピ）から一発で構築可能
CloudForma*on,
Template,
Tokyo Region
Stack,
Singapore Region


# Page. 32

![Page Image](https://bcdn.docswell.com/page/YJ6NP9MLJV.jpg)

ハイレベルなセキュリティ基準
☁ AWSで国内初のPCI-DSS Level1環境の構築の実績
• PCI-DSSとは
• PCI DSS (Payment Card Industry Data Security Standard) は国際カードブランド5
社(Visa、MasterCard、JCB、American Express、Discover) が共同で設立したPCI
SSC(Payment Card Industry Security Standard Council)によって策定されたグロー
バルセキュリティ基準。
•
世界のクレジットカード会社が求める
プレスリリース（http://www.cloudpack.jp/press/20130308.html）
セキュリティ実装のスタンダード


# Page. 33

![Page Image](https://bcdn.docswell.com/page/GJ55KNZMJ4.jpg)

confidential
Coiney
既存サイトをPCI DSS Level1に準拠させる為、
cloudpackはインフラ構築・セキュリティ面でのコンサルティングを担当


# Page. 34

![Page Image](https://bcdn.docswell.com/page/LE3NZ299E5.jpg)

実践的セキュリティ対策
アプリケーション
☁ ユーザー責任範囲
データ
• 権限設定、ネットワーク設定
ランタイム
• ソフトウェアのアップデート
ミドルウェア
OS
仮想化
サーバー
ストレージ
ネットワーク
• セキュリティログの収集・管理
• データの暗号化
• ウイルス対策
etc…
☁ AWS責任範囲


# Page. 35

![Page Image](https://bcdn.docswell.com/page/8EDWRZG87G.jpg)

用途がある程度決まれば
AWS上での
ビッグデータ環境構築は
比較的難易度低。
では周辺の課題は…


# Page. 36

![Page Image](https://bcdn.docswell.com/page/V7P9WD3WJ8.jpg)

お伝えしたいこと
✓ なぜAWSがビッグデータ分析環境に最適なのか
✓ さまざまなソリューションがある中、実際に求
めれるモノとは
✓ ビッグデータの取り扱いではまるところ


# Page. 37

![Page Image](https://bcdn.docswell.com/page/2JVM8149JQ.jpg)

ビッグデータ × ツール


# Page. 38

![Page Image](https://bcdn.docswell.com/page/5EGG5214EL.jpg)

収集・処理・分析
保管


# Page. 39

![Page Image](https://bcdn.docswell.com/page/4JQXZPDREP.jpg)

データ転送
•
Tsunami、Skeed、Aspera
•
Tableau、Talentd、Domo
•
ﬂuentd、ElasticSearch、Kibana、Graphana
•
•
専用線接続
データ統合・ダッシュボード
ログ収集・可視化
その他
ダイレクトインポート


# Page. 40

![Page Image](https://bcdn.docswell.com/page/K7463YZQE1.jpg)

データ転送


# Page. 41

![Page Image](https://bcdn.docswell.com/page/LJ1V16RLEG.jpg)

confidential
3ヶ月かけて東海岸につくった
インフラを9時間で西海岸に構築


# Page. 42

![Page Image](https://bcdn.docswell.com/page/GJWL8W1QE2.jpg)

confidential
476.18 Mbps → 60MB/s
=USB2.0最大転送速度


# Page. 43

![Page Image](https://bcdn.docswell.com/page/4EZM85P3J3.jpg)

データ統合・ダッシュボード


# Page. 44

![Page Image](https://bcdn.docswell.com/page/Y76NP9MZ7V.jpg)

ログ収集・可視化


# Page. 45

![Page Image](https://bcdn.docswell.com/page/G755KNZ974.jpg)



# Page. 46

![Page Image](https://bcdn.docswell.com/page/9J2NW5R5ER.jpg)

ビッグデータ × 事例


# Page. 47

![Page Image](https://bcdn.docswell.com/page/DEYPLKD6EM.jpg)

大陸間データ伝送


# Page. 48

![Page Image](https://bcdn.docswell.com/page/VJN54RN178.jpg)

システム構成
bIlIrd
If
t
Ik
F
,
F
AD A  
m
&gt;
(
B A
&gt;
(
&gt;
3
-‐‑‒ B E F
AD A  
v
m
B A
v
I
B Am
ot
u
I ot
O H
B
B
AD A  
A
2B
(
A
m
1
m
If
y
m
ot
B A
m
lha hnw
u
I ot
B A
1
B A
)
3) 3)
em
G
yO
3)
3)
NP S
LWOH
If
1 BE A
1
If
1 BE A
3)
1
GbI
h
I
If
y
C B


# Page. 49

![Page Image](https://bcdn.docswell.com/page/YE9YQMRYJ3.jpg)

転送状態の管理
システム構成
bIlIrd
If
t
Ik
F
,
F
AD A  
m
&gt;
(
B A
&gt;
(
&gt;
3
-‐‑‒ B E F
AD A  
v
m
B A
v
I
B Am
ot
u
I ot
O H
B
B
AD A  
A
2B
(
A
m
1
m
If
y
m
ot
lha hnw
u
I ot
3) 3)
em
G
yO
3)
m
3)
B A
1
NP S
LWOH
If
1 BE A
h
I
If
y
C B
現地に近いリージョンで
毎回環境起動
B A
B A
)
3)
GbI
1
If
1 BE A
1


# Page. 50

![Page Image](https://bcdn.docswell.com/page/GE86GLWK7D.jpg)

システム構成
bIlIrd
If
t
Ik
F
,
F
AD A  
m
&gt;
(
B A
&gt;
(
&gt;
3
-‐‑‒ B E F
AD A  
v
m
B A
v
I
B Am
ot
u
I ot
O H
B
B
AD A  
A
2B
(
A
m
1
m
If
y
m
ot
B A
m
lha hnw
u
I ot
NP S
LWOH
If
1 BE A
1
h
I
If
y
C B
B A
ファイル分割制御・リトライ
優先度制御
1
B A
)
3) 3)
em
G
yO
3)
3)
3)
GbI
If
1 BE A
1


# Page. 51

![Page Image](https://bcdn.docswell.com/page/LEL9GLNPJR.jpg)

システム構成
高速ファイルファイル転送
bIlIrd
If
t
Ik
F
,
F
AD A  
m
&gt;
(
B A
&gt;
(
&gt;
3
-‐‑‒ B E F
AD A  
v
m
B A
v
I
B Am
ot
u
I ot
O H
B
B
AD A  
A
2B
(
A
m
1
m
If
y
m
ot
B A
m
lha hnw
u
I ot
B A
1
B A
)
3) 3)
em
G
yO
3)
3)
NP S
LWOH
If
1 BE A
1
If
1 BE A
3)
1
GbI
h
I
If
y
C B


# Page. 52

![Page Image](https://bcdn.docswell.com/page/4JMZQMX2EW.jpg)

ポイント
通信の最適化
•
•
都度リージョン選択
伝送優先度調整
高速伝送
•
•
ツールとしてHULFT + Skeed利用
ファイル分割、リトライ


# Page. 53

![Page Image](https://bcdn.docswell.com/page/PJR68VN579.jpg)

ゲーム会社 KPI分析基盤


# Page. 54

![Page Image](https://bcdn.docswell.com/page/PEXM8ZNX7X.jpg)

システム構成1
ゲームサーバーにﬂuentd導入
A
B
C
API
JSON
S3
autoscalling
DWH
Web/APL
DWH$ (Redshift)


# Page. 55

![Page Image](https://bcdn.docswell.com/page/3EKGK8N9JD.jpg)

システム構成２
変換サーバー導入
A
B
C
fluentd
JSON
S3
DWH
Web/APL
DWH&#039; (Redshift)


# Page. 56

![Page Image](https://bcdn.docswell.com/page/L73NZ2V975.jpg)

システム構成比較
Fluentd
API
fluentd
API
DB
DB


# Page. 57

![Page Image](https://bcdn.docswell.com/page/87DWRZ88JG.jpg)

WADANCE


# Page. 58

![Page Image](https://bcdn.docswell.com/page/VJP9WD8WE8.jpg)

膨大なデータを集計、分析、俯瞰。
WADANCE（ワダンス）は、
日々の指標を誰もが読み解くことができる
ビジネスツールです。


# Page. 59

![Page Image](https://bcdn.docswell.com/page/2EVM81N9EQ.jpg)



# Page. 60

![Page Image](https://bcdn.docswell.com/page/57GG52K47L.jpg)

https://youtu.be/CARaLuQs4m8


# Page. 61

![Page Image](https://bcdn.docswell.com/page/4EQXZPNR7P.jpg)

NTTドコモ 統合分析基盤


# Page. 62

![Page Image](https://bcdn.docswell.com/page/KJ463YGQ71.jpg)



# Page. 63

![Page Image](https://bcdn.docswell.com/page/LE1V16DL7G.jpg)

confidential
構築の背景
o ドコモにおけるビックデータ活用
業務システム
のデータ
様々なログ
CRMシステム
ファイル
の顧客データ
Webサイト，
ブログ
ソーシャル
メディア
静止画，動画
センサデータ
ペタバイト級のデータ＋機械学習＋並列分散計算モデル
マーケティング
リコメンデーション
オペレーション最適化
ビッグデータからの行動パ
ターン分析によるサービス利
用促進／ユーザビリティ向上
多種多様なログに基づくクロ
スリコメンド／チューニングに
よる精度向上／対象ユーザ・
コンテンツのカバレッジ向上
ビッグデータを用いたネット
ワークルーティングの最適化
Business Intelligence
© 2014 NTT DOCOMO, INC. All Rights Reserved.
セキュリティ
メディア理解
ビッグデータを用いたハザー
ドマップ／犯罪発生マップの
高精度化・カバレッジ向上
ビッグデータを用いた辞書構
築による文字認識・画像認識
精度の向上／ソーシャルメ
ディア情報活用によるユーザ
動向把握
社会インフラ最適化
交通機関・公共施設の運行
最適化による待ち時間の最
小化
Data-Driven Innovation
22


# Page. 64

![Page Image](https://bcdn.docswell.com/page/GEWL8WYQ72.jpg)

confidential
10TB
毎日
の
ユーザー行動データ
100億超
の
行動記録処理
※安全性を保つため
個人情報は予めフィルタ済み


# Page. 65

![Page Image](https://bcdn.docswell.com/page/47ZM85X3E3.jpg)

ポイント
クラウドの拡張性の高さ
•
•
毎日数TB、PB級のデータ量に対応
•
•
•
ドコモ・クラウドパッケージ
MFAやCloudTrailによる証跡など継続的な機能アップ
独自セキュリティ基準確立と実装
ポリシー準拠した環境の事前準備
すべてのロールごとに権限はわける


# Page. 66

![Page Image](https://bcdn.docswell.com/page/YJ6NP94ZJV.jpg)

セキュリティ


# Page. 67

![Page Image](https://bcdn.docswell.com/page/GJ55KNQ9J4.jpg)

認証・セキュリティの取り組み
PCI DSS監査証明マーク
ICMS-PCI0162/PCI DSS
＋セキュリティルーム
ICMS-PCI0162/PCI DSS
※写真はイメージです
PCI DS
PC
ICMS
PC
ICMS


# Page. 68

![Page Image](https://bcdn.docswell.com/page/9E2NW5P57R.jpg)

SOC2レポート受領
• 米国公認会計士協会（AICPA）が定
める、財務報告目的以外の受託サー
ビスに関する内部統制の保証報告書
• 監査法人や公認会計士が独立した第
三者の立場から、客観的に検証した
結果を記載したもの
• AWS上でのSOC2受領は日本初！


# Page. 69

![Page Image](https://bcdn.docswell.com/page/D7YPLK567M.jpg)

セキュリティ
ホワイトペーパー
• 国際・国内セキュリティ基準への取
り組み
• ソフトウェア脆弱性情報に関する取
り組み
• 業務ネットワークのセキュリティ
• 運用上のセキュリティ保持体制


# Page. 70

![Page Image](https://bcdn.docswell.com/page/VEN54R41J8.jpg)

ドコモ・クラウド
パッケージ
• NTTドコモ社のクラウド導入・構
築・運用管理ノウハウやツールを
パッケージ化
• セキュリティデザインパータンやテ
ンプレートを提供
• 準拠したSIをcloudpackで実施可能


# Page. 71

![Page Image](https://bcdn.docswell.com/page/Y79YQMQYE3.jpg)

まとめ
✓ PB級のデータも初期コスト無しでスタート、
カイゼンや機能追加が日々行われていくので
成長していくAWSはビッグデータ分析環境に最適
✓ 現実世界では、さまざまなデータソースから
データ変換・統合していく必要がある
✓ データが膨大である以上、データ収集の戦略も重
要に


# Page. 72

![Page Image](https://bcdn.docswell.com/page/G786GLGKJD.jpg)

AWS re:Invent 2015
10月6日〜9日 @ ラスベガス
参加者1万人規模
日本からも数百名参加


# Page. 73

![Page Image](https://bcdn.docswell.com/page/L7L9GLGPER.jpg)

Q&amp;A


# Page. 74

![Page Image](https://bcdn.docswell.com/page/4EMZQMQ27W.jpg)



