---
title: Yahoo! JAPANのOracle構成-2017年版
tags: 
author: [Yahoo!デベロッパーネットワーク](https://convert.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJ55565MJ4.jpg?width=480
description: この資料は、株式会社インサイトテクノロジー主催のイベント「db tech showcase tokyo 2017」にて、Yahoo! JAPANのOracle Databaseのここ2年間の取り組みをまとめたものになります  【イベントの概要】 ■イベント名 db tech showcase tokyo 2017 ■主催 株式会社インサイトテクノロジー ■共催 ■イベントURL http://www.db-tech-showcase.com/dbts/tokyo  【セッションの概要】 ■日時 2017年 9月6日(水) 15:30～16:20 ■タイトル Yahoo! JAPANのOracle構成-2017年版
published: September 13, 17
canonical: https://convert.docswell.com/s/ydnjp/Z73QV5-2017-09-13-142512
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJ55565MJ4.jpg)

Yahoo! JAPANの
Oracle構成-2017年版
2017/09/06
1
db tech showcase 2017
佐藤 誠
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/9E2NNMNR7R.jpg)

このセッションは
このセッションは、
「Yahoo! JAPANのOracle構成-2017年版」
ということで、弊社のOracle運用について、ここ2年ほど
の取り組みを幅広く発表させて頂きます
※資料は slideshare に上げる予定です
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/D7YPPXP57M.jpg)

自己紹介
佐藤誠
•
ヤフー（株）
• D&amp;S統括本部データプラットフォーム本部 Oracle
• 業務
• ヤフーで稼働するOracle全台の運用管理
• 社内のOracleコンサルタント
3
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VEN55154J8.jpg)

本日の内容
1.
2.
3.
4.
5.
4
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/Y79YY5Y4E3.jpg)

本日の内容
1.
2.
3.
4.
5.
5
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/G7866Y6VJD.jpg)

Yahoo! JAPAN 利用者数
1日
6
9,000万
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ユニーク
ブラウザ
※出所：Yahoo! JAPAN社内データ（2016年4月-6月の平均）


# Page. 7

![Page Image](https://bcdn.docswell.com/page/L7L9949RER.jpg)

提供サービス
Media
Search
Video
Answer
Mail
C2C EC
B2C EC
Local
US
JP
Membership
C2C Payment
US
7
JP
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4EMZZKZP7W.jpg)

巨大なデータプラットフォーム
1200
1000+
1500
300,000
DBs
nodes
nodes
Query/day
NoSQL
Object
Storage
RDB
Hadoop
8
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
DWH
6000 node
150 PB


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PER66X6YJ9.jpg)

巨大なデータプラットフォーム
230/1200
1000+
1500
300,000
Oracle
nodes
nodes
Query/day
NoSQL
Object
Storage
RDB
Hadoop
9
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
DWH
6000 node
150 PB


# Page. 10

![Page Image](https://bcdn.docswell.com/page/P7XMM6M4JX.jpg)

本日の内容
1.
2.
3.
4.
5.
10
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/37KGG1GPED.jpg)

過去の発表資料
2014年 db tech showcase
Exa並の性能を目指して手組みの
PCI-SSD x InfiniBand構成を組んだ話
＋
＋
https://www.slideshare.net/techblogyahoo/exadata-oracle-db
11
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LJ3NNQN4J5.jpg)

過去の発表資料
Oracle Database Connect 2016 LT
IBMのFlashSystemを採用、最大6nodeのRAC構
成を組んでいることや、運用管理ツールの紹介
https://www.slideshare.net/techblogyahoo/yahoo-japan-oracle
12
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/8JDWW9W5EG.jpg)

本日の内容
1.
2.
3.
4.
5.
13
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VEP99Z9D78.jpg)

稼働Oracleの内訳
•
Version構成
12.2
1%
11.2.0.2
30%
12.2
5%
12.1.0.2
44%
２０１７Q2
２０１７Q4
11.2.0.4
25%
年度内に12c移行完了予定
14
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
12.1.0.2
95%


# Page. 15

![Page Image](https://bcdn.docswell.com/page/27VMMWMG7Q.jpg)

12cR2 MTA導入
•
•
•
15
Oracle12cR2がリリース
R1では見送っていたマルチテナントもやっと使えそう
MTAを本番で使うかどうしようか・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/5JGGGDXDJL.jpg)

DBサーバの統合方式の比較
集約密度 分離性
①ハイパーバイザに
よるサーバ仮想化
(IaaS型資源共有)
②DBインスタンス
分割
③DBマルチテナント
(PaaS型資源共有)
④DBスキーマ分割
DB
DBMS
OS
DB
DBMS
OS
ハイバーバイザ
物理サーバ
DB
DBMS
OS
DB
DBMS
DB
DBMS
OS
物理サーバ
DB
DBMS
DB
DB
DBMS
OS
物理サーバ
DB
スキーマ
スキーマ
DB
DBMS
OS
物理サーバ
スキーマ
• ハイパーバイザによって物理サーバ上に複数の仮想マシ
ンを作り、その上で各DBごとにOSとDBMSを並行実行する
方式
低
高
高
低
• 1つのOS上でDBごとのDBインスタンスを並行起動する方
式
• 1つのDBMS上で、複数のDB（テナント）を実行する方式。
各テナントには、隔離されたDBサーバ環境が仮想的に割
り当てられる
• 1つのDBインスタンス上で業務DBごとのスキーマを並行
実行する方式
Copyright © 2017 Yahoo Japan Corporation.
All Rights Reserved.
ヤフー株式会社／日本オラクル株式会社
Confidential
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/47QXX18XJP.jpg)

DBサーバの統合方式の比較
一つのコンテナDBで複数のプラガブルDBを動かす
②DBインスタンス分割
DB
DBMS
DB
DBMS
OS
物理サーバ
DB
DBMS
③DBマルチテナント
DB
DB
DBMS
OS
物理サーバ
DB
Copyright © 2017 Yahoo Japan Corporation.
All Rights Reserved.
ヤフー株式会社／日本オラクル株式会社
Confidential
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/KE466R22J1.jpg)

12cR2 MTA導入
•
•
18
MTAの魅力は、インスタンス用メモリを節約できて、集約度を
上げられる点
ヤフーの本番想定で検証してみるしかない
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/L71VVQMKJG.jpg)

12cR2 MTA導入
•
検証
判定
項目
検証内容
dbca silentによるPDB作成
DB構築
PDBのリモート・クローン
初期化パラメータがこれまで同様のセッティング可能か
リソース制御
CPU, Memory, I/O,process数などリソース制御が想定レベル
で可能か
バックアップ・リカバリ
PDB毎の完全リカバリと不完全リカバリ
異なる文字コードのPDBのバックアップ / リカバリ
BCP
19
DataGuard/自動FailOverをPDB単位で組めるか
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/G7WLLM3PJ2.jpg)

12cR2 MTA導入
•
検証
判定
項目
検証内容
dbca silentによるPDB作成
○
DB構築
PDBのリモート・クローン
初期化パラメータがこれまで同様のセッティング可能か
△
リソース制御
CPU, Memory, I/O,process数などリソース制御が想定レベル
で可能か
バックアップ・リカバリ
PDB毎の完全リカバリと不完全リカバリ
○
異なる文字コードのPDBのバックアップ / リカバリ
×
20
BCP
DataGuard/自動FailOverをPDB単位で組めるか
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4JZMMQV673.jpg)

12cR2 MTA導入まとめ
•
結論
1. 本番でのマルチテナント稼働は見送り
• パラメータをPDBで個別に持てないものがある
• CDBのメンテナンスや障害時は全PDBに影響がある等、DBごとの独立性に難がある
• PDBレベルのDataGuard/自動FailOverは組めない
2. 開発環境には導入する
• 開発環境はメモリ節約のメリット
• PDBのクローンや引越しが容易
21
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/YE6NN65LEV.jpg)

本日の内容
1.
2.
3.
4.
5.
22
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/GE5556YME4.jpg)

HW構成（RAC）
手組み構成のおさらい（2013～ 第3世代
IAサーバ
Infinibandスイッチ
IAサーバ＋virident
23
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/972NNMGRJR.jpg)

HW構成（RAC）
手組み構成のおさらい（2013～ 第3世代
IAサーバ
Infinibandスイッチ
• 凄く速いけどIBと、SSDが超不安定・・・
• 値段はめちゃ安
IAサーバ＋virident
24
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/DJYPPXV5JM.jpg)

HW構成（RAC）
手組み構成のおさらい（2016～
第4世代
IAサーバ
FCスイッチ
IBM FlashSystem
25
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/V7N551M4E8.jpg)

HW構成（RAC）
手組み構成のおさらい（2016～
第4世代
IAサーバ
• 第3世代と近い性能
• FCとIBM FlashSystemで高い安定性
FCスイッチ
• 第3世代の不安定さに懲りて、安定
を取った！
IBM FlashSystem
• 値段は第3世代より高価
26
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/YJ9YY5N473.jpg)

HW構成（RAC）
•
•
RACは6ノード以上で構成し、追加リソースが必要な場合に備える
北九州の拠点は12ノードRAC構成
インスタンスC
Oracle RAC *12nodes
インスタンスA
27
インスタンスB
インスタンスD
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GJ866YKVED.jpg)

HW構成（RAC）
•
•
RACは6ノード以上で構成し、追加リソースが必要な場合に備える
負荷やサービスリリースに合わせてインスタンスを増やすことが容易
インスタンスC
Oracle RAC *12nodes
インスタンスA
インスタンスB
インスタンスD
nodeを3つ追加
28
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/LJL994ZR7R.jpg)

HW構成（Exa）
•
•
Exadata 現在5台稼働中（下期に2台購入予定）
サービス集約用途で計画に合わせ導入
サービス
2010
2014
2015
2016
2017上半期 2017下半期
X-6 half
×2
YJ共通
広告
X-2 Full
X-4 Full
EOSL移行
決済
X-6 half×2
X-6 half
ショッピング
29
X-6 half
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 30

![Page Image](https://bcdn.docswell.com/page/47MZZKVPJW.jpg)

HW構成（Exa）
•
•
Exadata 現在5台稼働中（下期に2台購入予定）
サービス集約用途で計画に合わせ導入
サービス
2010
2014
2015
2016
2017上半期 2017下半期
X-6 half
YJ共通
X-2 はゴミだったが、選択肢がそれしかなかった
X-2 Full
X-4 Full
X-4 広告は安定性が向上し、落ちなくなったがまだお高かった
EOSL移行
X-6 で性能、価格、安定性のバランスが取れた
決済
X-6 half×2
X-6 half
ショッピング
30
X-6 half
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 31

![Page Image](https://bcdn.docswell.com/page/P7R66X2YE9.jpg)

HW構成
31
性能
可用性
保守
お値段
第三世代
○
×
×
◎
第四世代
○
○
△
○
Exadata X-6
half
○
○
○
×⇒○
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 32

![Page Image](https://bcdn.docswell.com/page/PJXMM6D4EX.jpg)

HW構成
第三世代
性能
可用性
保守
お値段
○
×
×
◎
• Exadata
第四世代X-6は、アプライアンス製品なので、保守が○
○
○
△
○
• まるっと一括保守（ASR（Auto Service Request）は本当
にラクです
○
○
×⇒○
Exadata X-6 ○
• 安定性、性能、価格も問題なし
32
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 33

![Page Image](https://bcdn.docswell.com/page/3JKGG1XP7D.jpg)

HW構成まとめ
•
結論
1. 第3世代(PCI-virident)を年度内に捨てる
2. 第4世代(IBM FlashSystem)をニーズに応じて
配置していく
3. 新しくDBクラスタを作る場合は、Exadataを入れてしまった
方が、導入、構築、運用コストを下げることが出来る
※注 ヤフーで組んだ場合の価格です
Oracleはソフトウェアライセンスが高額で、とくにExaはストレージライセンスが追加で掛かります
33
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 34

![Page Image](https://bcdn.docswell.com/page/LE3NNQ54E5.jpg)

本日の内容
1.
2.
3.
4.
5.
34
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 35

![Page Image](https://bcdn.docswell.com/page/8EDWW9D57G.jpg)

BCP
• BCP
• Business continuity planning
• 地域災害によるサービス停止の対策
• Oracle DataGuard &amp; FSFO(Fast-Start Failover)
35
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 36

![Page Image](https://bcdn.docswell.com/page/V7P99ZXDJ8.jpg)

過去の発表資料
2015年 Meetup! JPOUGイベント
Yahoo! ニュース トピックスで導入した話
プライマリサイトが破壊されても、30秒程
度でBCPサイトを稼働できる
https://www.slideshare.net/techblogyahoo/oracle-data-guard-48172431
36
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 37

![Page Image](https://bcdn.docswell.com/page/2JVMMWLGJQ.jpg)

Data Guardとは
•
•
•
•
Oracle Databaseのレプリケーション機能
１つ以上のStandby DBを構成することが可能
リアルタイムなデータ連携も可能
データ保護、災害時のリカバリに適している
Standby
DB
Standby
DB
Primary
DB
Standby
DB
37
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 38

![Page Image](https://bcdn.docswell.com/page/5EGGGD3DEL.jpg)

Data Guardによるデータ転送
• Primary DBからRedoログが転送される
• Standby Redoログからデータファイルへのリカバリが行われる
Primary DB
Standby DB
DB
Instance
DB
Instance
Redo転送
リカバリ
Standby
Redo
Redo
Data Files
38
同じデータ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Data Files


# Page. 39

![Page Image](https://bcdn.docswell.com/page/4JQXX15XEP.jpg)

SwitchOver
•
•
•
Standby DBをPrimary DBへ変更して利用可能
Standby Redoの更新ログは全てリカバリ可能
最大可用性モードであればデータロスト無し
Primary DB
Standby DB
DB
Instance
DB
Instance
Redo転送
SwitchOverは手動で行う
DOWN
DGMGRL&gt; switchover
Redo
Data Files
39
Standby
Redo
同じデータ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
全てのRedo
を適用し
DB Open
Data Files
リカバリ


# Page. 40

![Page Image](https://bcdn.docswell.com/page/K7466R92E1.jpg)

FailOver
•
Observerを導入する事で可能
•
•
•
Primary DBを死活監視
障害検知時にStandby DBへフェイルオーバー命令
Standby DBが自動でOpenされ、使用可能となる
Primary Site
死活監視
Observer
Standby Site
Primary
DB
Standby
DB
DOWN
40
FailOver
命令
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Up


# Page. 41

![Page Image](https://bcdn.docswell.com/page/LJ1VVQKKEG.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
Primary
DB
41
Standby
DB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 42

![Page Image](https://bcdn.docswell.com/page/GJWLLMDPE2.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
Primary
DB
42
Standby
DB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 43

![Page Image](https://bcdn.docswell.com/page/4EZMMQG6J3.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
PrimaryDOWN
DB
43
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 44

![Page Image](https://bcdn.docswell.com/page/Y76NN6YL7V.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
PrimaryDOWN
DB
44
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 45

![Page Image](https://bcdn.docswell.com/page/G75556GM74.jpg)

FailOver運用で大事なこと
現実
AP Primary
Observer
Primary Site
Standby Site
Primary
DB
45
Standby
DB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 46

![Page Image](https://bcdn.docswell.com/page/9J2NNMYRER.jpg)

FailOver運用で大事なこと
現実
AP Primary
Observer
Primary Site
Standby Site
PrimaryDOWN
DB
46
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 47

![Page Image](https://bcdn.docswell.com/page/DEYPPXG5EM.jpg)

FailOver運用で大事なこと
現実
AP Primary
Observer
Primary Site
Standby Site
PrimaryDOWN
DB
47
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 48

![Page Image](https://bcdn.docswell.com/page/VJN551G478.jpg)

FailOver運用で大事なこと
現実
AP Primary
•
•
•
DBの障害には対応出来ているが、DR（Disaster Recovery）
Observer
になっていない
Primary Site
Standby Site
拠点を跨いでしまうため、レイテンシが上がる
FOしちゃったけど性能が出ず、やっぱり戻す
PrimaryDOWN
Standby
DB
DB
48
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Up


# Page. 49

![Page Image](https://bcdn.docswell.com/page/YE9YY5W4J3.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
Primary
DB
49
Standby
DB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 50

![Page Image](https://bcdn.docswell.com/page/GE866YNV7D.jpg)

FailOver運用で大事なこと
理想
GSLB
AP Standby
AP Primary
Observer
Primary Site
Standby Site
PrimaryDOWN
DB
50
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 51

![Page Image](https://bcdn.docswell.com/page/LEL994PRJR.jpg)

FailOver運用で大事なこと
理想
GSLB
•
•
AP Standby
AP Primary
FOしてStandbyサイトに切り替わっても、
同等のサービスが提供出来ること
Primary Site
Standby Site
PrimaryDOWN
DB
51
Observer
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Standby
DB
Up


# Page. 52

![Page Image](https://bcdn.docswell.com/page/4JMZZK4PEW.jpg)

BCPまとめ
• Good
•
•
現在10DBほどFSFOを組んでいる
（ニュース、決済、ショッピング、Ymobileなど）
FOのおかげで大事故にならなかったケースが年に2回くらいある
• Bad
•
•
•
•
52
自動で切り替える（FSFO）には、プライマリ、スタンバイ監視Observerを構築する必要
がある
アプリケーションレイヤーがFOに追従できるように設計、運用しないと障害点が増える
だけ
Standbyサイトは寝かせておくので、設備投資が2倍
たまに暴発する（拠点ネットワーク障害、単一ストレージ障害）
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 53

![Page Image](https://bcdn.docswell.com/page/PJR66XWY79.jpg)

本日の内容
1.
2.
3.
4.
5.
53
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 54

![Page Image](https://bcdn.docswell.com/page/PEXMM6P47X.jpg)

バックアップ
• ここではバックアップ＝RMAN（Recovery manager）
の話をします
54
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 55

![Page Image](https://bcdn.docswell.com/page/3EKGG1DPJD.jpg)

バックアップ
• 弊社のOracleバックアップに関するSLA
1. 毎日バックアップ（差分、フルどちらでも良い）
2. 1週間保持（WINDOW OF 7 DAYS）
3. 遠隔地に保存
55
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 56

![Page Image](https://bcdn.docswell.com/page/L73NNQR475.jpg)

バックアップ
• 弊社のOracleバックアップに関するSLA
1. 毎日バックアップ（差分、フルどちらでも良い）
2. 1週間保持（WINDOW OF 7 DAYS）
3. 遠隔地に保存
DBによっては10Tを超えるバックアップを
毎日遠隔地に保存するのは大変
56
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 57

![Page Image](https://bcdn.docswell.com/page/87DWW9Y5JG.jpg)

バックアップ
• 遠隔地に過去7日分のデータを保存することが出来
ず、DataGuardで直近のデータのみ保全
cluster3
cluster2
Backup用cluster
cluster1
RMAN
RMAN
Redo
Redo
Redo
RMAN
57
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 58

![Page Image](https://bcdn.docswell.com/page/VJP99Z6DE8.jpg)

バックアップ
• 遠隔地に過去7日分のデータを保存することが出来
ず、DataGuardで直近のデータのみ保全
cluster3
cluster2
DataGuardの使い方としては邪道
Backup用cluster
cluster1
Redo
NASをclusterごとに大量に買っていた
RMAN
Redo
ClusterのVLAN内にNASを置かないと、バックアップが終わらない
RMAN
Redo
RMAN
58
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 59

![Page Image](https://bcdn.docswell.com/page/2EVMMW3GEQ.jpg)

バックアップ
• そこで「重複排除ストレージ」を導入する
59
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 60

![Page Image](https://bcdn.docswell.com/page/57GGGDYD7L.jpg)

バックアップ
• そこで「重複排除ストレージ」を導入する
•
•
•
•
•
•
60
重複排除(Dedupe)機能で実保存データ量が1/10～1/15
VTL（仮想テープデバイス）を複数作成
しかも、WAN越しにVTLに保存可能
WAN越しでも重複排除が効くためネットワーク負荷が激減
常にフルバックアップで保存（リストアが速くなる）
1日50T保存しても問題ナシ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 61

![Page Image](https://bcdn.docswell.com/page/4EQXX1MX7P.jpg)

バックアップ
• そこで「重複排除ストレージ」を導入する
•
•
61
弊社ではHPE StoreOnceを導入
必要な機能と価格のバランスが良かった
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 62

![Page Image](https://bcdn.docswell.com/page/KJ466RV271.jpg)

バックアップ
• 1日25Tのバックアップを7日間保存してみる
62
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 63

![Page Image](https://bcdn.docswell.com/page/LE1VVQ3K7G.jpg)

バックアップ
• 1日25Tのバックアップを7日間保存してみる
25.4T(RMAN) * 7(days) =178.4T
178.4T / 15.2(Dedupe率) = 11.7T
実際の保存容量は 11.7T
63
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 64

![Page Image](https://bcdn.docswell.com/page/GEWLLMPP72.jpg)

バックアップ
• バックアップストレージを集約
＝
64
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 65

![Page Image](https://bcdn.docswell.com/page/47ZMMQK6E3.jpg)

バックアップ
• 遠隔地にWAN越しで直接RMANバックアップ
• WAN越しでも、差分データのみ送る(RMAN Catalyst plugin)
cluster3
cluster2
RMAN
cluster1
RMAN
RMAN
65
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 66

![Page Image](https://bcdn.docswell.com/page/YJ6NN6QLJV.jpg)

バックアップ
• 弊社のOracleバックアップに関するSLA
1. 毎日バックアップ（フル）
2. 1週間保持（WINDOW OF 7 DAYS）
3. 遠隔地に保存
すべてを満たすことが出来た
66
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 67

![Page Image](https://bcdn.docswell.com/page/GJ5556RMJ4.jpg)

バックアップまとめ
• バックアップ専用の重複排除ストレージを使う事で
構成をシンプルに
• バックアップの運用で
•
•
•
時間（バックアップ／リカバリ）
容量
ネットワーク
の問題を抱えている場合は、
重複排除ストレージを検討してみる
67
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 68

![Page Image](https://bcdn.docswell.com/page/LE3NNQP9E5.jpg)

本日の内容
1.
2.
3.
4.
5.
68
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 69

![Page Image](https://bcdn.docswell.com/page/8EDWW9L87G.jpg)

セキュアなデータ
弊社ではYID、顧客データ、クレジットカード情報等々
セキュアなデータを多く扱っている
アクセス監査が必要
内部監査、PCI-DSS etc...
69
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 70

![Page Image](https://bcdn.docswell.com/page/V7P99Z2WJ8.jpg)

監査の要件
•
•
•
•
70
ワークフローに対応している(アクセス申請・承認）
大量アクセスも捌ける(準リアルタイム監査)
社内のワークフローに対応させるには自社開発するしかない
大量の監査ログをどうやってサービス影響なく出力して回収するか?
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 71

![Page Image](https://bcdn.docswell.com/page/2JVMMWD9JQ.jpg)

統合監査モード
12cから統合監査モード(Unified Auditing)を選択できる
cd $ORACLE_HOME/rdbms/lib
make -f ins_rdbms.mk uniaud_on ioracle
SQL&gt; SELECT VALUE
PARAMETER
---------------Unified Auditing
71
FROM V$OPTION WHERE PARAMETER = &#039;Unified Auditing&#039;;
VALUE
---------TRUE
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 72

![Page Image](https://bcdn.docswell.com/page/5EGGGDY4EL.jpg)

統合監査モード
•
•
監査ログがunified_audit_trail表に集約される（SYSAUXに保存）
キャッシュが効く(※UNIFIED_AUDIT_SGA_QUEUE_SIZE)
⇒AUDITレコードをSGAキューに溜めておいて、しきい値を超えたらSYSAUXにフラッシュする
秒間3000ログでもサービス影響なし
※12cR2から非推奨パラメータ（後方互換性は保持）
72
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 73

![Page Image](https://bcdn.docswell.com/page/4JQXX1MREP.jpg)

監査ログの退避
• システム側の監査ログ回収がボトルネック
→ unified_audit_trailが溢れるとサービス停止のリスク
5分おきにunified_audit_trailを回収用テーブルに退避&amp;パージ
unified_audit_tral
73
退避&amp;パージ
回収用テーブル
監査ログ回収
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
回収サーバー


# Page. 74

![Page Image](https://bcdn.docswell.com/page/K7466RVQE1.jpg)

インシデント
• 各データベースの監査ログを監査マスターDBに集約
• バッチでホワイトリストと監査ログを突き合わせ
問題のあるアクセスについて、担当者にインシデントをあげる
回収サーバー
74
監査ログ集約
監査マスターDB
監査ログ精査
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
バッチサーバー


# Page. 75

![Page Image](https://bcdn.docswell.com/page/LJ1VVQ3LEG.jpg)

インシデント管理画面
75
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 76

![Page Image](https://bcdn.docswell.com/page/GJWLLMPQE2.jpg)

インシデント詳細
76
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 77

![Page Image](https://bcdn.docswell.com/page/4EZMMQK3J3.jpg)

インシデント詳細
許可されていないセキュアアクセス
・サーバ
・アクセス元
・OSユーザ
・DBユーザ
・コマンド
がインシデントとして上がってくる
77
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 78

![Page Image](https://bcdn.docswell.com/page/Y76NN6QZ7V.jpg)

セキュリティ監査まとめ
•
•
•
セキュアなデータを運用する以上、アクセス監査の仕組みが
必ず必要になる
Oracle12cから使える統合監査モードは、監査処理のボトル
ネックを解消しており、3000qpsでも処理可能
社内の要件を取込み、アクセス監査の仕組みを構築した
•
•
78
アクセス申請・承認機能
大量アクセスをさばける
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 79

![Page Image](https://bcdn.docswell.com/page/G75556R974.jpg)

本日の内容
1.
2.
3.
4.
5.
79
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 80

![Page Image](https://bcdn.docswell.com/page/9J2NNMD5ER.jpg)

Oracleの監視と言えば
•
80
代表的なものは
Enterprise Manager ですが・・・
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 81

![Page Image](https://bcdn.docswell.com/page/DEYPPX26EM.jpg)

Enterprise Manager
81
•
•
ヒドすぎるUI
機能が多すぎて途方に暮れる
•
特に12c
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 82

![Page Image](https://bcdn.docswell.com/page/VJN551W178.jpg)

Enterprise Manager13cR2
•
•
•
82
13cR2でUIがだいぶマシになった
実用に耐えうるレベル
ExaのHW監視も出来るため、Exaを運用するにはほぼ必須
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 83

![Page Image](https://bcdn.docswell.com/page/YE9YY5XYJ3.jpg)

Enterprise Manager13cR2
•
•
•
13cR2でUIがだいぶマシになった
実用に耐えうるレベル
ExaのHW監視も出来るため、Exaを運用するにはほぼ必須
EMだけなぜか13cにメジャーバージョ
ンアップしてしまった。不評すぎて12c
を切り捨てたんじゃないか説
83
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 84

![Page Image](https://bcdn.docswell.com/page/GE866Y2K7D.jpg)

DBの監視レイヤー
•
DBの監視レイヤー
OS監視
OS up,/down/Local disk / Syslog / login/ process
インスタンス監視
インスタンスup,down / tablespace / ORA-XXXX
ASM監視
ASM disk space / diskgroup /ocr
Storage監視
Storage 容量 / I/O / Network
※MRTGやHWベンダーの監視ツール
84
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 85

![Page Image](https://bcdn.docswell.com/page/LEL9942PJR.jpg)

DBの監視レイヤー
•
DBの監視レイヤー
OS監視
OS up,/down/Local disk / Syslog / login/ process
インスタンス監視
インスタンスup,down / tablespace / ORA-XXXX
自作ツールで
頑張っていた
ASM監視
ASM disk space / diskgroup /ocr
←ASMだけはEM11gで監視していた
Storage監視
Storage 容量 / I/O / Network
※MRTGやHWベンダーの監視ツール
85
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 86

![Page Image](https://bcdn.docswell.com/page/4JMZZK82EW.jpg)

DBの監視レイヤー
•
DBの監視レイヤー
OS監視
OS up,/down/Local disk / Syslog / login/ process
インスタンス監視
インスタンスup,down / tablespace / ORA-XXXX
ASM監視
ASM disk space / diskgroup /ocr
Storage監視
Storage 容量 / I/O / Network
※ExaはEMでストレージ監視できる
86
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 87

![Page Image](https://bcdn.docswell.com/page/PJR66X5579.jpg)

DBの監視レイヤー
•
DBの監視レイヤー
OS監視
OS up,/down/Local disk / Syslog / login/ process
インスタンス監視
インスタンスup,down / tablespace / ORA-XXXX
全レイヤーをEM1台で監視できる
ASM監視
ASM disk space / diskgroup /ocr
Storage監視
Storage 容量 / I/O / Network
※ExaはEMでストレージ監視できる
87
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 88

![Page Image](https://bcdn.docswell.com/page/PEXMM6KX7X.jpg)

パフォーマンス監視
• パフォーマンス監視をラクにしたい
•
APやDBの性能が落ちたら、AWR（Automatic Workload Repository）
を取って改善箇所を見つけ、SQLチューニング、アプリケー
ションの改修を行うのが一般的だが・・・
・DBA以外AWRを見る機会が無い
⇒AWRを誰でも見られるようにしたい
・AWRを必要に応じて取得
⇒定期的に自動作成し、レポーティングしたい
88
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 89

![Page Image](https://bcdn.docswell.com/page/3EKGG159JD.jpg)

パフォーマンス監視
• パフォーマンス監視をラクにしたい
•
APやDBの性能が落ちたら、AWR（Automatic Workload Repository）
を取って改善箇所を見つけ、SQLチューニング、アプリケー
ションの改修を行うのが一般的だが・・・
AWR
Warehouseを構築
・DBA以外AWRを見る機会が無い
⇒AWRを誰でも見られるようにしたい
・AWRを必要に応じて取得
⇒定期的に自動作成し、レポーティングしたい
89
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 90

![Page Image](https://bcdn.docswell.com/page/L73NNQK975.jpg)

AWR Warehouse とは
• AWRはDBの稼動統計からレポートを生成する機能
• AWR Warehouse は複数DBの稼動統計を収集し管理
90
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 91

![Page Image](https://bcdn.docswell.com/page/87DWW938JG.jpg)

AWR Warehouse 導入
• Oracle DBの稼働状況の見える化の強化
• 全社Oracleのセルフサービス化推進
※サービス側自身でDBの問題点に気がつけるようにする
kibana
セルフサービス
で自己参照
アプリ
チームA
DB
EMサーバ
AWRデータ
アプリ
チームB
BI Publisher
自動レポート
(定型グラフ等)
AWRデータ
DB
EM DB
AWRデータ
メール
サーバ
DB
91
全社DBA
必要に応じて分析
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メール配信
(自動)


# Page. 92

![Page Image](https://bcdn.docswell.com/page/VJP99Z4WE8.jpg)

監視まとめ
• DBは監視レイヤーが多く、個別にツールを運用するの
も大変。EMは多機能とはいえUIが残念だったが、
13cでマシになった
• EMに監視を寄せてシンプルな運用にする
• パフォーマンス監視をラクにするため、
AWR Warehouseを現在構築中
92
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 93

![Page Image](https://bcdn.docswell.com/page/2EVMMWX9EQ.jpg)

本日の内容
1.
2.
3.
4.
5.
93
Yahoo! JAPAN概要
これまでのおさらい
12cR2 MTA導入
HW構成
BCP
6.
7.
8.
9.
バックアップ
セキュリティ・監査
監視
全体まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 94

![Page Image](https://bcdn.docswell.com/page/57GGGDV47L.jpg)

全体まとめ
12cR2 MTA
バックアップ
クリティカルな要件がまだ解消出来ず、本番稼働は
見送り。開発やステージングには積極的に利用す
る。改善要望はOracleに出して行く
重複排除ストレージはバックアップ専用に設計され
ているだけあって、時間、容量、ネットワーク負荷の
問題を一挙に解決してくれる
HW構成
セキュリティ・監査
Exadata価格がこなれてきたため、手組みの価格優
位性が今時点では無く、安定性や保守の面から
Exadataを導入
セキュアなデータを扱う場合、監査がボトルネック
要因となりやすいが、12c～の統合監査を使う事
で、数千qpsの監査ログが出てもなんとかなる
BCP
監視
DataguardでFSFOを組むことで、停止時間を極小に
できるが、コストが非常に掛かる上、中途半端な
BCPになりがち。何を守りたいのか、どこまでやるべ
きなのかを明確にしてBCP設計するのがオススメ
94
これまでEnterpriseManagerを活用出来ていなかっ
たが、EM13cからUIが改善され使いやすくなった。こ
れを機に、DB監視の全レイヤーをEMで監視するこ
とにした。さらにパフォーマンス監視をラクにするた
めAWRWarehouseを構築中
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


# Page. 95

![Page Image](https://bcdn.docswell.com/page/4EQXX16R7P.jpg)

EOP
95
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.


