---
title: ヤフーを支えるデータセンタネットワーク
tags: 
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8JDW9XV6EG.jpg?width=480
description: 学生向けMEETUP LT用の資料です。 データセンタネットワークの取り組みについて紹介します。
published: August 08, 18
canonical: https://convert.docswell.com/s/ydnjp/K4RMQK-2018-08-08-144159
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8JDW9XV6EG.jpg)

ヤフーを支える
データセンタネットワーク
2018年8月8日
ヤフー株式会社 サイトオペレーション本部 インフラ技術3部 坂本 要
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VEP9ZPRZ78.jpg)

自己紹介
坂本 要
• 2017年新卒入社 DCNW3所属
• 主にLB、GSLB、DNS等構築運用
• ネットワークの可視化自動化
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/27VMW2RM7Q.jpg)

ヤフーのネットワーク
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5JGGDRMXJL.jpg)

データセンタネットワーク？
• ヤフーのプロダクションネットワーク
を担当するチーム
• 規模感
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
コアスイッチ:200+
ロードバランサ:600+
エッジスイッチ:4500+
マネージメントスイッチ:3000+
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/47QX1VR5JP.jpg)

取り組み
• 既存ネットワークの運用
• 次世代ネットワークの設計、構築
•
CLOSネットワーク、ホワイトボックススイッチ等
• サービス担当者からの依頼対応
• 運用のボトルネック改善
•
自動化、可視化、ツール開発
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/KE46RM8VJ1.jpg)

トラディショナルなネットワーク
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/L71VQ824JG.jpg)

トラディショナルなネットワーク
Backbone
Aggregation
1棟/1フロア
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
1棟/1フロア
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/G7WLMZRZJ2.jpg)

CLOS ネットワーク
より詳しく知りたい方は
• JANOG38 ヤフーのIP CLOS ネットワーク
• https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf
・・・
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JZMQ1RL73.jpg)

ネットワークエンジニアの
業務
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/YE6N6LRMEV.jpg)

業務内容
• 依頼対応
•
内容に応じて設定投入
•
ネットワーク障害は影響範囲が大きい
• アラート対応
• 機器メンテナンス
• 周辺ツール開発
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GE55618QE4.jpg)

サービスから様々な依頼がやってくる
VLANを追加してくだ
さい
システムがおかしいのでNW
の調査をしてください
NW機器にこのよう
な設定を入れること
は可能でしょうか
突然サーバにsshできなくなりました
専用NWの構築をお願いします
機器にVIPの設定をしてください
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/972NM1KWJR.jpg)

サービスから様々な依頼がやってくる
VLANを追加してくだ
さい
システムがおかしいのでNW
の調査をしてください
該当時間のトラフィックを
調査してください
Aレコードの設定をお
願いします
NW機器にこのよう
な設定を入れること
は可能でしょうか
突然サーバにsshできなくなりました
AからBへのポート開
放をお願いします
機器にVIPの設定をしてください
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
専用NWの構築をお願いします
Geolocationの設定をしてください
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/DJYPXZN9JM.jpg)

牧歌的な運用の限界
• サービス規模、トラフィックの拡大
• オンプレ-&gt;IaaS-&gt;PaaS-&gt;CaaS等
の環境変化による依頼の増加
• 数千台規模の機器を運用しながら新規
構築、開発の必要性
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/V7N513XDE8.jpg)

自動化
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YJ9Y598873.jpg)

人手作業の問題点
• 時間がかかる
• オペレーションミスが発生する
•
•
•
•
コピペミス
確認不足
知識不足
再発防止が困難
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GJ86Y98ZED.jpg)

自動化の難しい点
• テスト
• 失敗した際の影響範囲が大きい
• マルチベンダー対応
•
•
ヤフーでは様々なベンダー、OSバージョンのネットワーク機器を
取り扱っている
情報取得方法、設定投入方法がバラバラ
• NW/開発両方の知識が必要
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LJL94WR17R.jpg)

設計
• OS毎の情報取得、投入経路選定
• CLI/Netconf/SNMP/API
• 取得した情報の抽象化
• OSの差異を意識する必要をなくす
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/47MZK9R5JW.jpg)

設計
• CLIコマンドベース
• 自前実装/OSS利用
• オプションやサブコマンドで機能を追加し
ていく
• チケットシステムとの連携
• 起票されたチケットの情報から設定生成
• キューイングしておき、承認すると処理実
行
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/P7R6XGRZE9.jpg)

自動化のメリット
• オペレーションにかかる時間短縮
• 作業内容の属人性廃止
• 事前確認項目の定義、ヌケモレ防止
• dryrunによる事前確認
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PJXM6XR1EX.jpg)

監視・可視化
•
アラートが上がっていても気付けなければ意味
がない
•
可視化することで原因箇所の早期特定
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/3JKG1WRM7D.jpg)

監視・可視化
•
アラートが上がっていても気付けなければ意味
がない
•
可視化することで原因箇所の早期特定
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/LE3NQ182E5.jpg)

最後に
• こんな人におすすめ
•
•
•
大規模ネットワークの設計構築運用に携わりた
い
運用だけでなく開発もしたい
CSS、JS等のフロントからNW運用、サーバ構成
管理、パケット解析まで何でも出来ます
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
22


