---
title: Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②
tags: 
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LE3NV3PQE5.jpg?width=480
description: Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション② by Yahoo!デベロッパーネットワーク
published: January 30, 17
canonical: https://convert.docswell.com/s/ydnjp/ZMR1N5-2017-01-30-132458
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LE3NV3PQE5.jpg)

Network for the Large-scale
Hadoop Cluster at Yahoo! JAPAN
2022年11月16日
ヤフー株式会社 システム統括本部 サイトオペレーション本部
インフラ技術3部 DCNW1 深澤 開
1
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/8EDW84LW7G.jpg)

自己紹介
◆ 名前
◆ 深澤 開 (ふかざわ かい)
◆ 所属
◆ データ&amp;サイエンスソリューション統括本部
データプラットフォーム本部 開発2部
◆ システム統括本部
サイトオペレーション本部 インフラ技術3部 (兼務)
◆ 業務
◆ 全社Hadoopの設計・構築・運用
◆ データセンター内ネットワークの設計・構築・運用
◆ マイブーム
◆ ジム通い / ランニング
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7P98M2XJ8.jpg)

アジェンダ
◆ Hadoop概要
◆ HadoopとNetwork
◆ Yahoo! JAPANのHadoop Network変遷
◆ 今までのNetworkの障害・問題と解決
◆ 今までのNetworkの障害・問題
◆ 新クラスタでのNetwork要件
◆ Yahoo! JAPANのIP CLOS Network
◆ 構成
◆ Hadoopによるパフォーマンステスト
◆ 新たな問題
◆ Future Plan
3
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2JVMN9D3JQ.jpg)

Hadoop概要
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/5EGGKZYYEL.jpg)

Hadoop 概要
オープンソースの大規模な分散処理ミドルウェア
5
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JQXNLM6EP.jpg)

Hadoop 概要
オープンソースの大規模な分散処理ミドルウェア
1. HDFS (Hadoop Distributed File System)
2. YARN (Yet-Another-Resource-Negotiator)
6
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/K746GDVME1.jpg)

Hadoop 概要
◆ HDFS
◆ Hadoop の分散ファイルシステム
◆ ファイルをブロック単位に分割して保存
◆ レプリケーションを作成して保存
◆ デフォルトで3レプリケーション
◆ デーモン
◆ Master : NameNode
◆ Slave : DataNode
7
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LJ1VDZ3YEG.jpg)

Hadoop 概要
◆ HDFS
◆ HDFS上のメタデータの管理
◆ DataNodeの状態管理
◆ ブロックデータの保存
“HDFS Architecture“. Apache Hadoop.
http://hadoop.apache.org/docs/current/hadoop-projectdist/hadoop-hdfs/HdfsDesign.html. (01/17/2017).
8
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJWLY9P1E2.jpg)

Hadoop 概要
◆ YARN
◆ ジョブスケジューリングおよび
クラスタリソース管理のためのフレームワーク
◆ 様々な分散処理が実行可能
◆ MapReduce / Tez / Spark
◆ デーモン
◆ Master : ResourceManager
◆ Slave : NodeManager
9
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EZMX9KXJ3.jpg)

Hadoop 概要
◆ YARN
◆NodeManagar の状態管理
◆アプリケーションの状況把握
◆処理ノードのリソース管理
◆アプリケーションの管理
◆アプリケーションの実行
“Apache Hadoop YARN“. Apache Hadoop.
http://hadoop.apache.org/docs/current/hadoopyarn/hadoop-yarn-site/YARN.html. (01/17/2017).
10
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Y76N4KQP7V.jpg)

HadoopとNetwork
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/G755QPRP74.jpg)

HadoopとNetwork
HDFS
File
Block
DataNode A,B,C
DataNode C
DataNode B
DataNode A
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
NameNode


# Page. 13

![Page Image](https://bcdn.docswell.com/page/9J2NP6DZER.jpg)

HadoopとNetwork
HDFS
DataNode D
DataNode C
DataNode B
DataNode A
HeartBeat
NameNode
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/DEYP592NEM.jpg)

HadoopとNetwork
HDFS
DataNode D
DataNode C
DataNode B
DataNode A
HeartBeat
NameNode
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJN5NL8V78.jpg)

HadoopとNetwork
HDFS
障害を起こしたノードが
持っていたデータ量の分だけ
DataNodeD トラフィックが発生する
DataNodeC
DataNodeB
DataNodeA
(1ノードあたり30TB)
HeartBeat
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
NameNode


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YE9YR4KVJ3.jpg)

HadoopとNetwork
HDFS
16
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GE86WQR47D.jpg)

HadoopとNetwork
HDFS
17
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LEL9NXKVJR.jpg)

HadoopとNetwork
HDFS
18
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JMZXL2NEW.jpg)

HadoopとNetwork
HDFS
19
1ラック分(30TB*20ノード)のデータの内層トラフィックが発生する
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PJR6NKM479.jpg)

HadoopとNetwork
YARN (リソースに余裕がある場合)
Map
基本的に
データがある
ノードで処理
Map
Reduce
Map
Reduce
Map
Shuffle
20
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/PEXMNLVZ7X.jpg)

HadoopとNetwork
YARN (リソースに余裕がある場合)
Map
基本的に
データがある
ノードで処理
Map
Reduce
Map
Reduce
Map
Shuffle
21
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/3EKGNLQVJD.jpg)

HadoopとNetwork
YARN (リソースに余裕がある場合)
Map
Reduce
Map
基本的に
Suffle フェーズでノード間の通信が発生する
データがある
Reduce
Map
ノードで処理
Map
Shuffle
22
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/L73NV3KQ75.jpg)

HadoopとNetwork
YARN (リソースに空きがない場合)
Map
データのない
ノードで処理が
実行されるため
データ転送が
発生する
Reduce
Map
Map
23
Reduce
Map
Shuffle
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/87DW843WJG.jpg)

HadoopとNetwork
YARN (リソースに空きがない場合)
Map
データのない
ノードで処理が
実行されるため
データ転送が
発生する
Reduce
Map
Map
24
Reduce
Map
Shuffle
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/VJP98M4XE8.jpg)

HadoopとNetwork
YARN (リソースに空きがない場合)
Map
Reduce
Map
データのない
ノードで処理が Shuffle フェーズだけでなく
Reduce
実行されるため
Mapの段階でもノード間の通信が発生する
データ転送が
Map
発生する
Map
25
Shuffle
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/2EVMN9X3EQ.jpg)

HadoopとNetwork
◆Hadoop ではデータのレプリケーションや再配置、
集計処理の中でデータの転送が多く行われる
◆North/South (縦方向)ではなく
East/West (横方向) の通信がメイン
◆大規模なHadoopになると
より多くのラック間通信が発生する
Low
High
26
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/57GGKZVY7L.jpg)

HadoopとNetwork
“Introduction to Facebook‘s data center fabric”. (11/14/2014). Retrieved
https://www.youtube.com/watch?v=mLEawo6OzFM. (01/17/2017).
27
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 28

![Page Image](https://bcdn.docswell.com/page/4EQXNL667P.jpg)

HadoopとNetwork
◆ Oversubscription
◆
求められる帯域と実際に利用できる帯域の比率
10Gbps
1Gbps NIC 40Nodes
= 40Gbps
28
Oversubscription
40 : 10 = 4 : 1
“Hadoop オペレーション Eric Sammer 著、玉川 竜司 訳 (O’Reilly). Copyright 2013 Eric Sammer, 978-4873116525.”
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/KJ46GD4M71.jpg)

Yahoo! JAPANの
Hadoop Network変遷
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 30

![Page Image](https://bcdn.docswell.com/page/LE1VDZ4Y7G.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster Volume
80
70
60
PB
50
40
30
20
10
0
Cluster1
Cluster2
Cluster3
Cluster4
Cluster5
(Jun. 2011) (Jan. 2013) (Apr. 2014) (Dec. 2015) (Jun. 2016)
30
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 31

![Page Image](https://bcdn.docswell.com/page/GEWLY9X172.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster1
Stack 構成
20Gbps
31
Nodes/Rack
Server NIC
UpLink
Oversubscription
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
90Nodes
1Gbps
20Gbps
4.5 : 1


# Page. 32

![Page Image](https://bcdn.docswell.com/page/47ZMX96XE3.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster1
Stack 構成
4スイッチ/Stack
20Gbps
32
Nodes/Rack
Server NIC
UpLink
Oversubscription
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
90Nodes
1Gbps
20Gbps
4.5 : 1


# Page. 33

![Page Image](https://bcdn.docswell.com/page/YJ6N4K2PJV.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster1
Stack 構成
Nodes/Rack
90Nodes
Stack構成を組める
Server NIC
1Gbps
スイッチ数の限界
20Gbps
33
UpLink
20Gbps
Oversubscription 4.5 : 1
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 34

![Page Image](https://bcdn.docswell.com/page/GJ55QP2PJ4.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster2
Spanning Tree Protocol
Nodes/Rack
Server NIC
UpLink
Oversubscription
10Gbps
…
34
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
40Nodes
1Gbps
10Gbps
4:1


# Page. 35

![Page Image](https://bcdn.docswell.com/page/9E2NP64Z7R.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster2
Spanning Tree Protocol
Blocking
Nodes/Rack
Server NIC
UpLink
Oversubscription
…
35
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
40Nodes
1Gbps
10Gbps
4:1


# Page. 36

![Page Image](https://bcdn.docswell.com/page/D7YP59MN7M.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster3
L2 Fabric/Channel
L2 Fabric
20Gbps
20Gbps
Nodes/Rack
Server NIC
UpLink
Oversubscription
…
36
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
40Nodes
1Gbps
20Gbps
2:1


# Page. 37

![Page Image](https://bcdn.docswell.com/page/VEN5NLWVJ8.jpg)

Yahoo! JAPANのHadoop Network変遷
Cluster4
L2 Fabric/Channel
L2 Fabric
80Gbps
80Gbps
Nodes/Rack
Server NIC
UpLink
Oversubscription
…
37
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
16Nodes
10Gbps
80Gbps
2:1


# Page. 38

![Page Image](https://bcdn.docswell.com/page/Y79YR4XVE3.jpg)

Yahoo! JAPANのHadoop Network変遷
Release
Jun. 2011
Volume
#Nodes/Switch NIC
Oversubscription
3PByte 90
1Gbps
4.5:1
Jan. 2013 20PByte 40
1Gbps
4:1
Apr. 2014 38PByte 40
1Gbps
2:1
Dec. 2015 58PByte 16
10Gbps 2:1
38
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 39

![Page Image](https://bcdn.docswell.com/page/G786WQ24JD.jpg)

今までのNetworkの
障害・問題と解決
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 40

![Page Image](https://bcdn.docswell.com/page/L7L9NX2VER.jpg)

今までのNetworkの障害・問題
◆ Stack構成でのスイッチ障害
◆ BUM Trafficによるスイッチへの負荷
◆ スケールアウトの限界
◆ サービスアウト処理の制限
40
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 41

![Page Image](https://bcdn.docswell.com/page/4EMZXL8N7W.jpg)

今までのNetworkの障害・問題
Stack構成でのスイッチ障害
◆ Stackを組んでいるスイッチのうち
1台に障害が発生
◆ 一緒にStackを組んでいる
他のスイッチにも影響
◆ 5ラック分(90台)のノードが
通信不能となる
◆ 計算リソースが不足し、
処理停止に繋がる
41
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 42

![Page Image](https://bcdn.docswell.com/page/PER6NK54J9.jpg)

今までのNetworkの障害・問題
BUM Trafficによるスイッチへの負荷
◆ サーバからのARPによるトラフィックが
原因でコアスイッチのCPUが高騰
◆ サーバ側のARPエントリの
保持時間を調整
◆ ネットワークアドレスが大きいことで
発生した問題
L2 Fabric
…
…
4400Nodes
42
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 43

![Page Image](https://bcdn.docswell.com/page/P7XMNLKZJX.jpg)

今までのNetworkの障害・問題
スケールアウトの限界
◆ Stack
◆ 最大で10台程度
◆ L2 Fabric
◆ シャーシの数に依存
43
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 44

![Page Image](https://bcdn.docswell.com/page/37KGNL5VED.jpg)

今までのNetworkの障害・問題
サービスアウト処理の制限
◆ UpLinkの帯域によるDataNodeの
サービスアウト処理の制限
◆ ジョブに影響を与えない台数での
サービスアウト作業を実施
44
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 45

![Page Image](https://bcdn.docswell.com/page/LJ3NV31QJ5.jpg)

新クラスタのNetworkの要件
◆要件 (2015年春頃)
◆120〜200ラック
◆10000台規模までスケールアウト可能
◆1ラックあたりのアップリンク 100~200Gbps
◆サーバのNICは10Gbps
◆1ラック20台弱
◆場所はUS DC
45
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 46

![Page Image](https://bcdn.docswell.com/page/8JDW84XWEG.jpg)

これらの問題を解決するために
46
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 47

![Page Image](https://bcdn.docswell.com/page/VEP98MPX78.jpg)

これらの問題を解決するために
IP CLOS Network を採用しました
47
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 48

![Page Image](https://bcdn.docswell.com/page/27VMN9237Q.jpg)

IP CLOS Network の採用
◆Google, Facebook, Amazon, Yahoo…
◆OTT(Over The Top)が採用している
DCネットワーク構成
“Introducing data center fabric, the next-generation Facebook data center network”. Facebook
Code. https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-thenext-generation-facebook-data-center-network/. (10/06/2016).
48
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 49

![Page Image](https://bcdn.docswell.com/page/5JGGKZRYJL.jpg)

IP CLOS Network の採用
◆East-West Traffic 増大に対応
◆スケーラビリティの向上
◆ボックススイッチのみであればいくらでもスケール可能
◆可用性の向上
◆Spineやアップリンクなど落ちても問題ない構成に
◆運用コストの低減
◆OSPF,BGPなど一般的な構成なので、
どんな会社のものでもOK
49
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 50

![Page Image](https://bcdn.docswell.com/page/47QXNLV6JP.jpg)

Yahoo! JAPAN の
IP CLOS Network
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 51

![Page Image](https://bcdn.docswell.com/page/KE46GDMMJ1.jpg)

構成
◆ ボックススイッチ構成
◆ いくらでもスケールアウト可能
◆ スイッチの数が増大する
51
Spine
・・
・・
・・
・・
Leaf
・・・
・・・
・・・
・・・
ToR
・・
・・
・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
・・
・・


# Page. 52

![Page Image](https://bcdn.docswell.com/page/L71VDZ8YJG.jpg)

構成
Internet
Spine
Router
Core
Leaf
52
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 53

![Page Image](https://bcdn.docswell.com/page/G7WLY9Z1J2.jpg)

構成
Spine
Spine
Leaf
・・
・・・
Internet
Router
Core
Leaf
53
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 54

![Page Image](https://bcdn.docswell.com/page/4JZMX91X73.jpg)

構成
◆ なぜこうような構成にしたのか?
◆ 管理するものを減らす
◆ IPアドレス、ケーブル、インターフェース、BGP Neighbor…..
◆ 別の物理的制約
◆ フロアが1フロア限定
◆ シャーシ型の構成でも今回の要件は満たせる
◆ シャーシ型のコストの変化
◆ 以前よりもポート単価が安くなった
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 55

![Page Image](https://bcdn.docswell.com/page/YE6N4KLPEV.jpg)

構成
◆Spine-Leaf間はBGP
Internet
Spine
Router
ECMP
Core
BGP
Leaf
55
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 56

![Page Image](https://bcdn.docswell.com/page/GE55QP1PE4.jpg)

構成
◆Spine-Leaf 間は /31
◆Leaf 配下は /26, /27
Internet
Spine
Router
Core
/31
Leaf
56
・・・・・
/26
/27
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 57

![Page Image](https://bcdn.docswell.com/page/972NP61ZJR.jpg)

構成
Internet
Spine
Router
BUM Traffic
/31 の問題を解消
Leaf
57
・・・・・
/26
/27
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Core
Layer3
Layer2


# Page. 58

![Page Image](https://bcdn.docswell.com/page/DJYP59ZNJM.jpg)

構成
◆Leaf Uplink 40Gbps x 4 = 160Gbps
Internet
Spine
Router
①
160Gbps
Leaf
58
②
Core
③
④
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 59

![Page Image](https://bcdn.docswell.com/page/V7N5NL3VE8.jpg)

構成
◆Leaf Uplink 40Gbps x 4 = 160Gbps
Internet
Spine
Router
①
160Gbps
Leaf
10Gbps NIC
59 20Nodes
②
Core
③
④
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 60

![Page Image](https://bcdn.docswell.com/page/YJ9YR49V73.jpg)

構成
◆Leaf Uplink 40Gbps x 4 = 160Gbps
Internet
Spine
Router
①
200
:
160
=
1.25
:
1
160G
②
③
Core
④
Leaf
10Gbps NIC
60 20Nodes
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 61

![Page Image](https://bcdn.docswell.com/page/GJ86WQ94ED.jpg)

構成
◆Leaf Uplink 40Gbps x 4 = 160Gbps
Internet
Spine
Router
①
サービスアウト処理の制限の解消
200
:
160
=
1.25
:
1
160G
②
③
Core
④
Leaf
10Gbps NIC
61 20Nodes
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 62

![Page Image](https://bcdn.docswell.com/page/LJL9NXWV7R.jpg)

構成
◆Leaf Uplink 40Gbps x 4 = 160Gbps
Internet
Spine
Router
①
UpLink
200 :の冗長化により耐障害性が向上
③ 160 = 1.25 : 1
160G
Leaf
10Gbps NIC
62 20Nodes
②
Core
④
・・・・・
・・・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Layer3
Layer2


# Page. 63

![Page Image](https://bcdn.docswell.com/page/47MZXL9NJW.jpg)

構成
◆ Stack構成でのスイッチ障害
◆ BUM Trafficによるスイッチへの負荷
◆ スケールアウトの限界
◆ サービスアウト処理の制限
63
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 64

![Page Image](https://bcdn.docswell.com/page/P7R6NKG4E9.jpg)

構成
✔
◆ Stack構成でのスイッチ障害
✔
◆ BUM Trafficによるスイッチへの負荷
✔
◆ スケールアウトの限界
◆ サービスアウト処理の制限
64
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 65

![Page Image](https://bcdn.docswell.com/page/PJXMNLXZEX.jpg)

Yahoo! JAPANのHadoop Network変遷
Release
Volume
#Nodes/Switch NIC
Oversubscription
Cluster1
3PByte 90
1Gbps
4.5:1
Cluster2
20PByte 40
1Gbps
4:1
Cluster3
38PByte 40
1Gbps
2:1
Cluster4
58PByte 16
10Gbps
2:1
Cluster5
75PByte 20
10Gbps 1.25:1
65
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 66

![Page Image](https://bcdn.docswell.com/page/3JKGNLWV7D.jpg)

Hadoopによるパフォーマンステスト(5TB Terasort)
66
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 67

![Page Image](https://bcdn.docswell.com/page/LE3NV3WQE5.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
67
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 68

![Page Image](https://bcdn.docswell.com/page/8EDW84KW7G.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
◆16Nodes/Rack
◆8Gbps/Node
68
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 69

![Page Image](https://bcdn.docswell.com/page/V7P98MKXJ8.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
◆16Nodes/Rack
◆8Gbps/Node
30Gbps x 4 = 120Gbps
69
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 70

![Page Image](https://bcdn.docswell.com/page/2JVMN9V3JQ.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
70
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 71

![Page Image](https://bcdn.docswell.com/page/5EGGKZLYEL.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
A社
71
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
B社


# Page. 72

![Page Image](https://bcdn.docswell.com/page/4JQXNLY6EP.jpg)

Hadoopによるパフォーマンステスト(40TB DistCp)
メーカーによるパフォーマンス差
A社はほとんどないB社
72
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 73

![Page Image](https://bcdn.docswell.com/page/K746GDWME1.jpg)

新たな問題
◆ データ転送遅延
◆ アップリンク4本のうち1本でエラーパケットが発生
◆ この影響でデータ転送が遅延
Slow
73
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 74

![Page Image](https://bcdn.docswell.com/page/LJ1VDZYYEG.jpg)

新たな問題
◆ データ転送遅延
◆ アップリンク4本のうち1本でエラーパケットが発生
◆ この影響でデータ転送が遅延
Slow
“org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror”
74
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 75

![Page Image](https://bcdn.docswell.com/page/GJWLY9G1E2.jpg)

新たな問題
◆ データ転送遅延
◆ アップリンク4本のうち1本でエラーパケットが発生
◆ この影響でデータ転送が遅延
Slow
“org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror”
75
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 76

![Page Image](https://bcdn.docswell.com/page/4EZMX9LXJ3.jpg)

新たな問題
◆ ラックを移動するとIPが変わる
◆ ラックごとにネットワークアドレスがついてる
◆ アクセスコントロールをIPアドレスでやっている
◆ 移設ごとにACLを変更しないといけない
192.168.0.10
192.168.0.100
192.168.0.0/26
76
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
192.168.0.64/26


# Page. 77

![Page Image](https://bcdn.docswell.com/page/Y76N4KWP7V.jpg)

Future Plan
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 78

![Page Image](https://bcdn.docswell.com/page/G755QPMP74.jpg)

Future Plan
◆ データ転送に影響に対する対策
Error!
78
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 79

![Page Image](https://bcdn.docswell.com/page/9J2NP69ZER.jpg)

Future Plan
◆ データ転送に影響に対する対策
Error!
Auto Shutdown
79
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 80

![Page Image](https://bcdn.docswell.com/page/DEYP594NEM.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
80
striping
64kB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 81

![Page Image](https://bcdn.docswell.com/page/VJN5NLYV78.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D6
Raw data
81
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 82

![Page Image](https://bcdn.docswell.com/page/YE9YR4PVJ3.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D6
Raw data
P1
P2
P3
Parity
82
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 83

![Page Image](https://bcdn.docswell.com/page/GE86WQD47D.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D1
Raw data
P1
P2
D6
D3
D2
P3
Parity
83
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
P1
D5
D4
D6
P2
P3


# Page. 84

![Page Image](https://bcdn.docswell.com/page/LEL9NXMVJR.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D6
D1
Raw data
Read
P1
P2
D3
D2
P3
Parity
84
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
P1
D5
D4
D6
P2
P3


# Page. 85

![Page Image](https://bcdn.docswell.com/page/4JMZXLYNEW.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D6
D1
Raw data
Read
P1
P2
D3
D2
P3
Parity
85
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
P1
D5
D4
D6
P2
P3


# Page. 86

![Page Image](https://bcdn.docswell.com/page/PJR6NK9479.jpg)

Future Plan
◆ Erasure Coding の採用
Original raw data
64kB
striping
D1
D2
D3
D4
D5
D1
Raw data
P1
P2
D6
D3
D2
P3
D4
D6
P2
Low Data Locality
Parity
86
P1
D5
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
P3


# Page. 87

![Page Image](https://bcdn.docswell.com/page/PEXMNLQZ7X.jpg)

Future Plan
◆ 様々なプラットフォームとの相互接続
BOTTLENECK
・・・・・・・・・・・・
…
87
…
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 88

![Page Image](https://bcdn.docswell.com/page/3EKGNL9VJD.jpg)

Future Plan
◆ コンピューティングとストレージの分離
: Storage Machine
: Computing Machine
・・・・・・・・・・・・・・
88
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 89

![Page Image](https://bcdn.docswell.com/page/L73NV39Q75.jpg)

ご清聴ありがとうございました
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 90

![Page Image](https://bcdn.docswell.com/page/87DW84GWJG.jpg)

Appendix
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 91

![Page Image](https://bcdn.docswell.com/page/VJP98M3XE8.jpg)

Appendix
• JANOG38
• http://www.janog.gr.jp/meeting/janog38/program/clos
• Hadoop Summit Tokyo 2016
• http://www.slideshare.net/HadoopSummit/network-for-thelargescale-hadoop-cluster-at-yahoo-japan
91
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


