---
title: re:Invent 2017 HPCとDeep Learning関連アップデート
tags: 
author: [白鳥 貴久 | Takahisa Shiratori](https://convert.docswell.com/user/takashiratori)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G78DY3Y57D.jpg?width=480
description: Updates in HPC and Deep Learning on re:Invent 2017 re:CAP -Serverworks re:Invent 2017 Report-, 7th December, 2017  https://serverworks.connpass.com/event/71748/
published: December 07, 17
canonical: https://convert.docswell.com/s/takashiratori/Z44DNQ-2017-12-07-105104
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G78DY3Y57D.jpg)

re:Invent 2017
HPCとDeep Learning関連アップデート
2017年12月7日
re:CAP -サーバーワークス re:Invent 2017 視察報告会-


# Page. 2

![Page Image](https://bcdn.docswell.com/page/L7LM4V43JR.jpg)

白鳥 貴久
@takashiratori
博士（工学）
サーバーワークス
営業部 ビジネスデベロップメント担当
略歴
2015年3月
2015年4月
2016年3月
2017年9月
流体力学分野の研究により博士（工学）を取得
サーバーワークスに入社
技術課に配属 顧客向けの環境構築を担当
営業部に配属 主にHPC分野のビジネスデベロップメントを担当


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4EMYKGKMEW.jpg)

AWSに対してよくある意見（イメージです）
• 流体シミュレーションにクラウド利用を検討中
• MPIを使用するため、InfiniBandが使えるMicrosoft Azureが第一候補
• AWSではインスタンス間の通信帯域の細さがシミュレーションのボト
ルネックになることを懸念
• Big Data分析や深層学習用途でクラウドを利用中
• Jupyterに慣れているので、GCPのCloud Datalabを使っている
• 基幹システムでは圧倒的存在感のAWSだが、科学技術計算や深層学習の分野で
は他の IaaS が好まれるケースも多かった
• re:Invent 2017では、それらに対するAWSの「答え」が示された印象


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PER9XZXLJ9.jpg)

AWSに対してよくある意見（イメージです）
• 流体シミュレーションにクラウド利用を検討中
• MPIを使用するため、InfiniBandが使えるMicrosoft Azureが第一候補
• AWSではインスタンス間の通信帯域の細さがシミュレーションのボト
ルネックになることを懸念


# Page. 5

![Page Image](https://bcdn.docswell.com/page/P7XQ69M6EX.jpg)

Cluster HPC と Grid HPC
• Cluster HPC
• 特徴
• 頻繁にインスタンス間の通信が発生する
• 使用すべきAWSの機能
• Placement Group
• Enhanced Networking
• Elastic Network Adapter (ENA)
• 25 Gbps を実現可能
• Grid HPC
• 特徴
• インスタンス間の通信が少ない
• 使用すべきAWSの機能
• Spot Instance
• Auto Scaling
AWS Batch
• Amazon SQS
re:Invent 2017 CMP207 など


# Page. 6

![Page Image](https://bcdn.docswell.com/page/37K91PGG7D.jpg)

HPC環境で使える3つのアップデート
 Spread Placement Group
 AZ間にまたがることができるPlacement Group
 ハードウェア障害時に、インスタンスが全滅する可能性を低くできる
 これでPlacement Groupは「Cluster（従来のもの）」と「Spread」の2種となった
 Spot Instance Hibernation
 Spotインスタンスが強制削除となった際、メモリ内の情報をEBSに出力する
 これまで強制削除時は計算データが消失していたが、これが救出可能になった
 AWS Batch Array Job
 複数のジョブをまとめるArrayという管理単位ができた
 Array内のジョブを1つずつ順次実行したり、複数Array内のジョブ間に依存関係を持たせる
ことが可能


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LJ3WQXN5J5.jpg)

AWSに対してよくある意見（イメージです）
• Big Data分析や深層学習用途でクラウドを利用中
• Jupyterに慣れているので、GCPのCloud Datalabを使っている


# Page. 8

![Page Image](https://bcdn.docswell.com/page/8JDK92WYEG.jpg)



# Page. 9

![Page Image](https://bcdn.docswell.com/page/VEPKZ19278.jpg)

Amazon SageMaker
深層学習の大まかな流れ
ねこ
いぬ
いぬ
ニューラルネットワーク
をコーディングする
学習させる
予測させる


# Page. 10

![Page Image](https://bcdn.docswell.com/page/27VVWYMX7Q.jpg)

Amazon SageMaker
深層学習の大まかな流れ
ねこ
いぬ
いぬ
ニューラルネットワーク
をコーディングする
予測させる
学習させる
AWSマネージドのJupyter Notebook環境
高レベルAPI
Amazon SageMaker
予測エンドポイント


# Page. 11

![Page Image](https://bcdn.docswell.com/page/5JGLD9GR7L.jpg)

AWS DeepLens
いぬ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/47QY1WXYEP.jpg)

AWS DeepLens
いぬ
いぬ
Amazon SageMaker
ねこ


# Page. 13

![Page Image](https://bcdn.docswell.com/page/KE4WRK6ZJ1.jpg)

AWS DeepLens
いぬ
AWS
Greengrass
いぬ
Amazon SageMaker
ねこ


# Page. 14

![Page Image](https://bcdn.docswell.com/page/L71YQXVDJG.jpg)

AWS DeepLens
いぬ
AWS
Greengrass
AWS IoT
いぬ
Amazon SageMaker
ねこ


