---
title: Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT③
tags: 
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LEL992XVJR.jpg?width=480
description: Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT③ by Yahoo!デベロッパーネットワーク
published: January 30, 17
canonical: https://convert.docswell.com/s/ydnjp/ZQQ87Z-2017-01-30-132010
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LEL992XVJR.jpg)

OpenStack関連セッション
1
OpenStack Summit Barcelona
2016 参加報告
Ansibleによるおっちょこちょい
の運用自動化
神尾皓 立見祐介
高橋拓也
4年間、OpenStackをデプロイし
てみた
OpenStack on Kubernetes
北田駿也
木下裕太
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JMZZ8LNEW.jpg)

OpenStack on Kubernetes
2017年1月30日
インフラ技術１部 クラウドイノベーション 木下裕太(26)
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PJR665K479.jpg)

デプロイの苦痛からの解放
OpenStack(大規模マイクロサービス)のデプロイの問題は
roleを１つに集約したchefによって解決した！
3
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PEXMMKLZ7X.jpg)

デプロイは一瞬 オペレーションは一生
しかし…
デプロイ
オペレーション
chat
お電話
process死んだ
controller VM down
controller VM の HV down
4
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
VMの再起動
筐体の調査
OpenStackの健全性確認…etc


# Page. 5

![Page Image](https://bcdn.docswell.com/page/3EKGG5LVJD.jpg)

デプロイは一瞬 オペレーションは一生
しかし…
デプロイ
オペレーション
chat
お電話
process死んだ
controller VM down
controller VM の HV down
5
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
VMの再起動
筐体の調査
OpenStackの健全性確認…etc


# Page. 6

![Page Image](https://bcdn.docswell.com/page/L73NNK6Q75.jpg)

デプロイは一瞬 オペレーションは一生
しかし…
デプロイ
オペレーション
chat
お電話
process死んだ
controller VM down
controller VM の HV down
6
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
VMの再起動
筐体の調査
OpenStackの健全性確認…etc


# Page. 7

![Page Image](https://bcdn.docswell.com/page/87DWW3VWJG.jpg)

オペレーションなんとかしたい
OpenStackの運用をなんとかしたい
人間じゃなくて自動で管理させたい
OpenStackはマイクロサービス
マイクロサービスといえば…
7
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/VJP994VXE8.jpg)

オーケストレーション
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2EVMMXZ3EQ.jpg)

OpenStack on Kubernetes
Kubernetes上でOpenStackのコンポーネントを稼動させること
node-01
node-02
node-03
オーケストレーション
nova
cinder
コンテナ
horizon
9
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/57GGGV4Y7L.jpg)

OpenStack on Kubernetes
なぜKubernetes上でOpenStackを動かすのか？
• 自動フェイルオーバ(多少のnodeダウンは影響無)
• Blue/Green デプロイメント
• コンテナ化によりホストOSや他パッケージとの依存から解放
Yahoo! JAPANでは特に
• 大規模クラスタにおいて柔軟なコントローラ群を実現
• 社内システムと連携するツールやバッチ処理もKubernetesで
10
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EQXX6G67P.jpg)

実際どうやるっていうのよ
Kubernetesが良いことはわかったが…
どうやってOpenStackをデプロイするのか？
11
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/KJ46645M71.jpg)

デプロイの苦しみを繰り返さない
Y!Jには4年間のデプロイの熱い歴史が…
• 手動
• 手動 + chef
• ansible + chef
• chef
過去の経験を踏まえると…
 手動や管理できないツールは使えない
 computeとcontrollerを同じ手法で管理するのが望ましい
12
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LE1VV4WY7G.jpg)

パッケージマネージャ
これでOpenStackをデプロイする
Helm
Kubernetesにおけるパッケージマネージャ
helmコマンド → yumコマンドに相当
chart(ファイル) → rpmパッケージに相当
詳細： https://helm.sh/
13
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GEWLLX6172.jpg)

How to deploy OpenStack
互いに疎通が可能なマシンをならべておく
マシン (物理/仮想)
14
controller用
マシン (物理/仮想)
マシン (物理/仮想)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
マシン (物理/仮想)
compute用


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47ZMM6YXE3.jpg)

How to deploy OpenStack
chefによるprovisioning
recipe
• kubernetes-master
• kubernetes-node
• etcd
• kvm
• その他…
libvirtd
qemu
libvirtd
qemu
15
Kubernetes-node
Kubernetes-node
マシン (物理/仮想)
マシン (物理/仮想)
controller用
Kubernetesnode
マシン (物理/仮想)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Kubernetesnode
マシン (物理/仮想)
compute用


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YJ6NN2DPJV.jpg)

How to deploy OpenStack
helmによるOpenStackのdeploy
16
Kubernetes-node
Kubernetes-node
マシン (物理/仮想)
マシン (物理/仮想)
controller用
Kubernetesnode
マシン (物理/仮想)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
neturonagent
libvirtd
qemu
novacompute
neturonagent
novacompute
horizon
cinder
neutron
keystone
nova
glance
chart
• configmap (各componentのconfを一元管理)
• nova, netron, horizon…etc
libvirtd
qemu
Kubernetesnode
マシン (物理/仮想)
compute用


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GJ55523PJ4.jpg)

実環境
https://horizon
DB
(MySQL)
L4バランサ(HAProxy)
https://horizon
k8s-ctl01
k8s-ctl02
k8s-node01
k8s-node02
k8s-node03
nova
k8s
master
17
k8s-ing01
keystone
k8s
master
その他
k8s-node04
RabbitMQ
horizon
http://horizon
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
k8s-ing02
kvm001
kvm002
Libvirt
QEMU
Libvirt
QEMU
compute
compute
L7バランサ
SSL終端


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LE3NNK66E5.jpg)

デモ (実環境をお見せします)
* Kubernetesのnodeをdownさせる
Copyright
Copyright ©
© 2017
2017 Yahoo
Yahoo Japan
Japan Corporation.
Corporation.All
AllRights
RightsReserved.
Reserved.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/8EDWW3VM7G.jpg)

OpenStack on Kubernetes
やってて感じてること (懸念点)
• OpenStack も Kubernetes も運用するの？
• 動かすまでがすごい大変
• Kubernetesのバージョンアップどうする？
19
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V7P994VQJ8.jpg)

OpenStack on Kubernetes
やってて感じてること (懸念点)
• OpenStack も Kubernetes も運用するの？
• 動かすまでがすごい大変
• Kubernetesのバージョンアップどうする？
でも、運用負荷は下がりそう！！！
20
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/2JVMMXZPJQ.jpg)

今後
OSSの導入検討
* kolla-kubernetes
Kubernetesと連携するツール群の開発
* イベントをwatchして何かを行う
CI/CD pipelineの整備
などなど…
21
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/5EGGGV4QEL.jpg)

おしまい
Copyright
Copyright ©
© 2017
2017 Yahoo
Yahoo Japan
Japan Corporation.
Corporation.All
AllRights
RightsReserved.
Reserved.


