---
title: Big query and elasticsearch insight at scale
tags:  #elasticsearch #elastic #elastic stack #elasticsearchs  
author: [Shotaro Suzuki](https://convert.docswell.com/user/shosuz)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJ5Y62G5J4.jpg?width=480
description: 6/9 6/9（水）12時 「BigQueryからElasticsearch - 有効データインサイト」ウェビナー https://www.elastic.co/jp/webinars/bigquery-and-elasticsearch/?view=1
published: June 09, 21
canonical: https://convert.docswell.com/s/shosuz/Z24M24-big-query-and-elasticsearch-insight-at-scale
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJ5Y62G5J4.jpg)

BigQuery &amp; Elasticsearch
Insight at Scale
鈴⽊ 章太郎
Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト
内閣官房 IT 総合戦略室 政府 CIO 補佐官


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE35QKR5J5.jpg)

Shotaro Suzuki
Twitter : @shosuz
Elastic
Technical Product Marketing
Manager/Evangelist
内閣官房 IT 総合戦略室
政府 CIO 補佐官
元 Microsoft Technical Evangelist


# Page. 3

![Page Image](https://bcdn.docswell.com/page/8EDD93YYEG.jpg)

1つのスタック、3つのソリューション、多くのユースケース、どこでもデプロイ
Elastic Enterprise Search
Elastic Observability
Elastic Security
Kibana
Elasticsearch
Beats
SaaS
Elastic Cloud
Logstash
SELF-MANAGED
Elastic Cloud
Enterprise (ECE)
Standalone
Elastic Cloud
on K8s (ECK)


# Page. 4

![Page Image](https://bcdn.docswell.com/page/V7PXZ462E8.jpg)

Strategic partner since 2017
Operating in 16 regions
with 4 deployment options
2,400+ joint customers*
4
“Together, Google Cloud and Elastic
share a vision of meeting customers
where they are on their journey to the
cloud...Our partnership has been inspired by
our joint customers who are looking for
choice, security, a platform for innovation
and integrations that helps them get better
insights from their data.”
Thomas Kurian,
CEO, Google Cloud


# Page. 5

![Page Image](https://bcdn.docswell.com/page/2JVLWX3X7Q.jpg)

Google マネージドサービスのデベロッパーにとっての3つのメリット
ビジネス価値の促進に重点を置く
5
統合されたエクスペリエンス
統⼀されたサポート
統合された請求
運⽤効率を向上
Google サポートを通じて
最適化されたエクスペリエンス
調達を簡素化


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5EGXDV3RJL.jpg)

Elastic &amp; Google Partnership Timeline
G
CP
G
G CP
o
G
G
G
CP ld Net
CP
a
G CP
an h
n
El
CP S
S.
nu M
er
d
i
n
i
a
Ca
la
nt asti
Sã g
P
a
r
l d ke e c
ro lat nd
o ap
ea tp gra 7.8
Pa or
lin inu s
ls lac tio G
ol e
a
m
o
e
n CO
on
S
G
CP
M
P
G
EC CP
M
on
K M
1. um
tr
0
ea
G ba
l
A i
E
Jo last
pr int icO
es C n
en EO
ta
tio
n
El
as
tic
7.
10
CY20
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sept
Oct
Nov
Dec
CY21
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sept
Oct
Nov
Dec
E
se last
ar ic
ch 7.
ab 11
le +
sn
ap
sh
ot
s
6
El
as
tic
7.
13


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4JQ8165Y7P.jpg)

Elastic &amp; Google Partnership Highlights
yo
16
FY19
Jan
FY20
Jan
7
F
S
t
ex ve nt
N i
e tiat me
l
g i e
oo S In unc
G S o
O nn
A
Regions
G
G CP
CP S
M ydn
on e
tr y
ea
l
k
To le
t g
ex oo eta
N
B
e n G ce ha
l
g o la lp
oo stic etp 0 A
G la k
.
E ar 0.9
M CK
E
4
CP
G
ey
n
d
Sy
Ways to
deploy
Feb
Mar
Apr
May
Jun
Jul
Aug
Sept
Oct
Nov
Dec
Feb
Mar
Apr
May
Jun
Jul
Aug
Sept
Oct
Nov
Dec
G
G
G
G
G
El
CP
CP
EC CP
an CP
G CP
C
i
nt asti
Si
S.
N
M
n
K M
P
ua a
et
6/ eg c
1. um
Ca
Sã ng
rk
h
0
18 ra 7.8
l
a
ro
o p
er
e
d
G ba
/2 tio G
ea tp
Pa or
la
lin
A i
0 n C
nd
ls lac
ol e
a
O
o
e
s
S


# Page. 8

![Page Image](https://bcdn.docswell.com/page/K742R49ZJ1.jpg)

Elastic Cloud on Google Cloud
16 Google Cloud Regions
The official managed Elasticsearch and Kibana offering
Americas
us-west1 (Oregon)
us-central1 (Iowa)
us-east1 (South Carolina)
us-east4 (N. Virginia)
northamerica-northeast1 (Montréal)
southamerica-east1 (São Paulo)
Europe
europe-north1 (Finland)
europe-west1 (Belgium)
europe-west2 (London)
europe-west3 (Frankfurt)
europe-west4 (Netherlands)
Asia Pacific
asia-east1 (Taiwan)
asia-south1 (Mumbai)
asia-southeast1 (Singapore)
asia-northeast1 (Tokyo)
australia-southeast1 (Sydney)
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/LJ1MQ4KDEG.jpg)

⽐類のない利点
Exclusive integrations
Google クラウド マーケット
プレイスに Elastic 検索
サービスを展開します。
Google Cloud Operation
Suite からデータにアクセス
できます。
自由でオープンな技術を
通じて革新のために創造
Seamless billing
Pay-per-use
Google クラウド マーケット
プレイスから、直接 Elastic
サブスクリプションを管理し、
1 つの統合請求書を取得し
ます。
使⽤するリソースに対して
のみ⽀払います。
Fully managed
All the Feels
Best-in-class security
メンテナンスと維持は
Elastic に任せます。API と
Elastic CLI を使⽤して、
最適化、Google DevOps
ツールと統合します。
⾃動アップグレード、商⽤
機能、セキュリティ組み込み、
迅速な展開とサイズ変更が
可能です。
⾼度なセキュリティ機能と、
暗号化は、グローバルコンプ
ライアンス基準を満たして
います。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJW3MXD8J2.jpg)

Elastic と Google Cloud を⽤いた
オブザーバビリティ（可観測性）
参考アーキテクチャ
Serverless
App
Engine
Cloud
Function
Filebeat or
Functionbeat
Elastic Cloud
Cloud
Pub/Sub
Others
Operations
Compute
Engine
Kubernetes
Engine
Filebeat
10
Logstash
Cloud
Storage
Filebeat or
Functionbeat
Custom
Logs
VPC Flow
Logs


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EZVQ6G9J3.jpg)

Demo
Elastic Cloud deployment on
Google Cloud
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/Y76562YDEV.jpg)

Databases &amp; Google Cloud Platform
In-memory
Non-relational
Cloud
Memorystore
Cloud
Firestore
Data
warehouse
Relational
Cloud
Bigtable
Cloud
SQL
Cloud
Spanner
Third party
BigQuery
SQL Server
Managed
Redis
12
Serverless, scalable Low latency,
document store
scalable wide
column store
Managed
Scalable
MySQL &amp;
missionPostgreSQL critical RDBMS
Analytics,
dashboards
Oracle


# Page. 13

![Page Image](https://bcdn.docswell.com/page/G75Y62G874.jpg)

BigQuery
最⼤限の俊敏性と拡張性を実現する、
完全に管理されたサーバレス DWH
Unique
Google Cloud Platform の
分析⽤エンタープライズ
データウェアハウス
ストリーミングデータからのリアルタイムの洞察
ギガバイトからペタバイト規模
のストレージと SQL クエリ
組み込みの ML を使⽤する予測的な洞察
暗号化され、耐久性があり、
⾼可⽤性を持つ
Unique
Unique
⾼速なインメモリ BI エンジンにより、⾼速な
レポート作成と分析が可能
Unique
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/9J2GM4YVJR.jpg)

BigQuery &amp; Elasticsearch
Better together
1.
BigQuery を使⽤したビッグデータとデータウェアハウジング
クラウドスケールの No Ops SaaS データウェアハウジング
b. 豊富な統合、BI、機械学習
a.
Elastic Stack を使⽤したライブデータとリアルタイム分析
a. 速度、速度、速度
b. ターンキーソリューション:Observability, Security,
Enterprise Search
3. データウェアハウスの他のデータ ソースと統合するために、
BigQuery を使⽤し Elastic Stack データをフェデレーション
/転送
4. BigQuery から Elasticsearch に転送された洞察を保存
して、迅速なアクセスと簡単/豊富なリアルタイム分析を実現
2.
2
1
3
4


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DEYVXMGQEM.jpg)

Elasticsearch to BigQuery
データウェアハウス⽤の BigQuery
•
リアルタイムの Elastic データを、より広範な
BigQuery データポートフォリオと関連付ける
•
•
•
Elasticsearch to BigQuery
–
BigQuery での追加データ変換
BigQuery での機械学習
Real-time data
sources
Logstash
•
Logstash Elasticsearch input plugin
•
Logstash BigQuery output plugin
–
Custom pipelines - eg. Dataflow pipeline
–
Potential “one-click” tight integration
BigQuery


# Page. 16

![Page Image](https://bcdn.docswell.com/page/VJNM1WG278.jpg)

BigQuery to Elasticsearch
Elasticsearch as the speed layer
•
•
⾼速クエリ
•
リッチで簡単なリアルタイム分析とダッシュボード
•
リアルタイムアラートと Machine Learning
•
BigQuery 結合の視覚化
•
ターンキーソリューション
BigQuery to Elasticsearch
–
Google Cloud Storage を通じて
–
カスタムパイプライン - 例えばデータフローパイプライン
–
潜在的な「ワンクリック」タイトな統合
リアルタイム分析と
ダッシュボード
データウェアハウジング
⼤規模なデータ分析
BigQuery


# Page. 17

![Page Image](https://bcdn.docswell.com/page/YE9N5XWDE3.jpg)

Cloud Logging をエクスポートするシナリオ: Elasticsearch
https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
•
Logging のエクスポートのための設計パターン の⼀部
•
Cloud Logging は、Cloud Storage、BigQuery、Pub/Sub、Elasticsearch にエクスポートできる
•
Beats のより⼀般的な使⽤例の⼀部
•
•
Auditbeat を使⽤した監査データの確認とレポート作成
•
Filebeat と Metricbeat を使⽤したログファイルと指標の分析
•
サーバーレス Functionbeat を使⽤したクラウドデータのモニタリング（Cloud Functions）
•
Packet beat を使⽤したネットワーク トラフィックの把握
Beats を使⽤して Google Operationsの Cloud Logging を Elasticsearch にエクスポート
するための基本的なアーキテクチャの例
•
Google Cloud 向け Filebeat モジュールは、監査ログ、VPC フロー、ファイアウォール ログを収集
•
環境にコンテナ、サーバーレス機能、VM、アプリが含まれている場合でも、Cloud Logging のシンク
は、適切にフィルタリングされたデータを Pub/Sub トピックに送信するよう構成
•
このトピックは、ファイル変換のために Elasticsearch に送信し、Kibanaでの検索やレポートのため
に取り込みおよび集約を⾏う


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GE8KY2N57D.jpg)

Demo
BigQuery から Elasticsearch
へのデータの取り込み
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/LELZ42P3JR.jpg)

19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4JMVK84MJW.jpg)

Elastic と Google Cloud を⽤いた
オブザーバビリティ（可観測性）
参考アーキテクチャ
Serverless
App
Engine
Cloud
Function
Filebeat or
Functionbeat
Elastic Cloud
Cloud
Pub/Sub
Others
Operations
Compute
Engine
Kubernetes
Engine
Filebeat
20
Logstash
Cloud
Storage
Filebeat or
Functionbeat
Custom
Logs
VPC Flow
Logs


# Page. 21

![Page Image](https://bcdn.docswell.com/page/PJR2X5WLE9.jpg)

事例ご紹介


# Page. 22

![Page Image](https://bcdn.docswell.com/page/PEXD6KV67X.jpg)

The GDELT Project
グローバルデータベースで世界的に展開されているプロジェクト
•
•
•
•
⼈類社会の最⼤、最も包括的、最⾼の解決
のオープンデータベース
印刷、放送、Web フォーマットのほぼすべての
国の世界中から、世界のニュースメディアを
100以上の⾔語で監視
1979年1⽉1⽇から現在まで
Vision - 利⽤可能なすべてのオープンな情報
源を使⽤して、地球全体を計算可能な形式
にコーディネート


# Page. 23

![Page Image](https://bcdn.docswell.com/page/3EKX15QG7D.jpg)

The GDELT Project
BigQuery と Elasticsearch を使⽤した惑星スケール データセットの分析と管理
Elasticsearch の専⽤のフルテキスト検索インフラストラクチャを備えた
BigQuery の膨⼤なペタスケール分析機能と連携することにより、世界
クラスの検索、分析、視覚化機能
BigQuery
Elasticsearch
•
ペタスケール分析
•
•
4 分以下のペタバイトテーブルのスキャン
•
•
スケールを気にせずに GDELT の質問
•
第2世代の全⽂検索
Google Computing Engine
(GCE) にデプロイ
BigQuery との統合


# Page. 24

![Page Image](https://bcdn.docswell.com/page/L735QKP5E5.jpg)

Zebra Technologiesʼ VisibilityIQ
BigQuery based big data analytics platform
•
800万台のデバイス
•
43,000のお客様
•
運⽤データとサポートデータ
•
機械学習と予測モデリングにより、予防的
対策が可能
•
KPI と実⾏可能なインサイト


# Page. 25

![Page Image](https://bcdn.docswell.com/page/87DD93LY7G.jpg)

Zebra Technologiesʼ VisibilityIQ
Elasticsearch as the speed layer
•
データウェアハウス/データレイクとして
の BigQuery
•
パイプライン
–
•
ML &amp; predictive analysis
インサイトサービングスピードレイヤーと
しての Elasticsearch
•
クエリ
–
Aggregations
–
Dashboarding
https://www.elastic.co/elasticon/archive/2020/global/how-zebra-technologies-delivers-business-intelligence-with-elastic-on-google-cloud


# Page. 26

![Page Image](https://bcdn.docswell.com/page/VJPXZ42278.jpg)

A Food Service Company
G-Suite ログ分析
Email log search
BigQuery
Reporting
Security Analytics
with Elastic Security


# Page. 27

![Page Image](https://bcdn.docswell.com/page/2EVLWXDXJQ.jpg)

リソース
Elastic StackとGoogle Cloudオペレーションを使ってGoogle Cloudを監視する
https://www.elastic.co/jp/blog/monitoring-google-cloud-with-the-elastic-stack-andgoogle-operations
Cloud Logging をエクスポートするシナリオ: Elasticsearch
https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
Google BigQuery output plugin
https://www.elastic.co/guide/en/logstash/current/plugins-outputsgoogle_bigquery.html#plugins-outputs-google_bigquery


# Page. 28

![Page Image](https://bcdn.docswell.com/page/57GXDVYREL.jpg)

アプリケーション開発 オンデマンド ウェビナー特集
•
•
•
Elastic の Search API を Visual Studio
Code でコーディングする (1) - (3)
Elastic Cloud で Azure Kubernetes
Serviecs の様々な Log/Metrics/APM を
可視化する
ASP.NET Core 3.x Web アプリのログを
Elastic Cloud で収集・分析してみよう︕
https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx


# Page. 29

![Page Image](https://bcdn.docswell.com/page/4EQ816MYJP.jpg)

Elastic APM のログ活⽤法
https://www.elastic.co/jp/webinars/learn-more-from-your-logs-with-elastic-apm


# Page. 30

![Page Image](https://bcdn.docswell.com/page/KJ42R4VZE1.jpg)

Elastic 7.13 Update ダイジェスト版(6/24)
今回のWebinarの詳細は以下の通りです。
==========================
=====================
■開催⽇時
6/24(⽊)19:30〜21:00
■内容
登壇
1. ⽇本マイクロソフト 惣道 哲也さん
2. Elastic 鈴⽊章太郎さん
3. 募集中
==========================
=====================
以上
https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/278466633/


# Page. 31

![Page Image](https://bcdn.docswell.com/page/LE1MQ43D7G.jpg)

Elastic on Microsoft Azure:
インテグレーション強化による価値の創出
https://www.elastic.co/jp/webinars/elastic-on-microsoft-azure-accelerate-time-to-value-with-enhanced-integration


# Page. 32

![Page Image](https://bcdn.docswell.com/page/GEW3MXP8E2.jpg)

ElasticON Solution Series Japan (7⽉予定)
https://www.elastic.co/elasticon/solution-series/(TBD)


# Page. 33

![Page Image](https://bcdn.docswell.com/page/47ZVQ6K9E3.jpg)

Thank You for your attention!
Search. Observe. Protect.


