---
title: マルチクラウド実践：AWSデータ×BigQuery連携検証
tags: 
author: [株式会社エヌアイデイ](https://convert.docswell.com/user/NID_Tech)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YJ6WY2X5JV.jpg?width=480
description: ①Google Cloud環境でのデータウェアハウス等を利用したデータ分析領域におけるナレッジを蓄積する。 ②BigQuery(BQ)_DataLake 接続対応案件で利用する想定の構成を事前に検証することで、今後の案件を円滑に進められるようにする。 上記2点を目的に、AWSのS3バケット、RedshfitをデータソースとしてBigQueryへのデータ連携し、スプレッドシートに結果を出力する流れを4パターンに分けて検証しました。  エヌアイデイの若手メンバーが参加し、基礎技術の習得と実践的な経験を目的とした社内の技術検証取り組みの資料です。
published: March 19, 26
canonical: https://convert.docswell.com/s/NID_Tech/KVJV13-2026-03-19-092900
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YJ6WY2X5JV.jpg)

マルチクラウド実践：
AWSデータ×BigQuery連携検証
2026年3月27日
(検証実施時期：2024年8-10月)
株式会社エヌアイデイ
ICTデザイン事業部ANA部第2課
Copyright(c)2025 NID All Rights Reserved
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GJ5MG2XGJ4.jpg)

参加メンバー＆検証年月
ICTデザイン事業部ANA部第2課 原 菜摘
(1年目 ※検証当時)
ICTデザイン事業部ANA部第2課 船渡川 碧 (1年目 ※検証当時)
ICTデザイン事業部ANA部第2課 S.Y.
※2024年8月～10月検証実施
(1年目 ※検証当時)


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9E29Y4XD7R.jpg)

目次
1. 導入
2. 検証方針
3. BigQuery-S3連携
4. BigQuery-RedShift連携
5. BigQuery-SpreadSheet連携
6. BigQuery-S3 EventDriven連携
7. 検証結果
8. S3-BigQuery連携パターン
※本資料に登場する会社名・製品・サービス名、ロゴマークなどは該当する各社の商号・商標または登録商標です。


# Page. 4

![Page Image](https://bcdn.docswell.com/page/D7Y4GM8MEM.jpg)

1.導入
BigQueryとは
BigQueryとは、ML、検索、地理空間分析、ビジネス インテリジェンスなどの
組み込み機能を使用してデータの管理と分析を支援するフルマネージドの
データ分析プラットフォーム。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VENYGWQ3J8.jpg)

1.導入
なぜBigQueryを使用するのか
数ペタバイトといったビッグデータを高速に分析できる。
類似したサービスとしてAWS社が提供しているRedShiftがあるが、
BigQueryを選択する理由は既存のGoogle Platformとのサービス連携が
容易であること。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/Y79PWXDPE3.jpg)

1.導入
検証目的
１．Google Cloud環境でのデータウェアハウス等を利用したデータ
分析領域における今後のソリューション提案に向けたナレッジを
蓄積する。
２．BigQuery(BQ)_DataLake 接続対応案件で利用する想定の構成を
事前に検証することで案件対応を円滑に進められるようにする。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/G78DN23X7D.jpg)

2.検証方針
今回の検証ではAWSのS3バケット、Redshfitをデータソースとして
BigQueryへのデータ連携し、スプレッドシートに結果を出力する流れを
以下の4パターンに分けて検証する。
１．S3からBigQueryへのデータ連携
２．RedShiftからBigQueryへのデータ連携
３．BigQueryからスプレッドシートへのデータ連携
４．S3イベントドリブンによるBigQueryへのデータ連携


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L7LMP2VNJR.jpg)

3.BigQuery-S3連携
構成図


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EMY48GQEW.jpg)

3.BigQuery-S3連携
手順
１．S3バケットに対してS3ReadOnly権限を持ったIAMユーザーの
アクセスキーを払い出す。
２．BigQuery Data Transfer Serviceで転送ジョブを作成し、
S3URI、アクセスキー、シークレットキー、各種転送設定を行う。
３．転送ジョブを実行し、BigQueryにデータを連携する。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PER9W5ZKJ9.jpg)

3.BigQuery-S3連携
IAMユーザーに割り当てるポリシー


# Page. 11

![Page Image](https://bcdn.docswell.com/page/P7XQPK95EX.jpg)

3.BigQuery-S3連携
BigQuery Data Transfer Serviceの設定1


# Page. 12

![Page Image](https://bcdn.docswell.com/page/37K9D5PR7D.jpg)

3.BigQuery-S3連携
BigQuery Data Transfer Serviceの設定2


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LJ3WRKXGJ5.jpg)

3.BigQuery-S3連携
作成した転送ジョブを実行する
実行結果


# Page. 14

![Page Image](https://bcdn.docswell.com/page/8JDKY32NEG.jpg)

3.BigQuery-S3連携
BigQueryのテーブルにデータが取り込まれていることを確認


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VEPK641N78.jpg)

4.BigQuery-RedShift連携
構成図


# Page. 16

![Page Image](https://bcdn.docswell.com/page/27VV3XYY7Q.jpg)

4.BigQuery-RedShift連携
手順
１．RedShiftのデータをcsv形式でS3バケットにアンロードする。
２．S3バケットに対してS3ReadOnly権限を持ったIAMユーザーの
アクセスキーを払い出す。
３．BigQuery Data Transfer Serviceで転送ジョブを作成し、
S3URI、アクセスキー、シークレットキー、各種転送設定を行う。
４．転送ジョブを実行し、BigQueryにデータを連携する。


# Page. 17

![Page Image](https://bcdn.docswell.com/page/5JGL3V9W7L.jpg)

5.BigQuery-SpreadSheet連携
構成図


# Page. 18

![Page Image](https://bcdn.docswell.com/page/47QY56WQEP.jpg)

5.BigQuery-SpreadSheet連携
手順
１．Googleドライブの任意の箇所にスプレッドシートを作成する。
２．スプレッドシートからコネクテッドシートの設定を行い、
対象のBigQueryテーブルを選択する。


# Page. 19

![Page Image](https://bcdn.docswell.com/page/KE4W94KYJ1.jpg)

5.BigQuery-SpreadSheet連携
スプレッドシート→データコネクタ→BigQueryを選択


# Page. 20

![Page Image](https://bcdn.docswell.com/page/L71YK4XNJG.jpg)

5.BigQuery-SpreadSheet連携
プロジェクト、データセット、テーブルを選択


# Page. 21

![Page Image](https://bcdn.docswell.com/page/G7WGDXKME2.jpg)

5.BigQuery-SpreadSheet連携
新規シートに指定したBigQueryテーブルとデータ連携されている


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4JZLG6ZME3.jpg)

6.BigQuery-S3 EventDriven連携
構成図


# Page. 23

![Page Image](https://bcdn.docswell.com/page/YE6WY2Z5EV.jpg)

6.BigQuery-S3 EventDriven連携
手順
１．S3バケットに対してS3ReadOnly権限を持ち、対象のGoogle
アカウントを信頼ポリシーに設定したIAMロールを作成する。
２．SQSキューを作成し、キューポリシーに対象のS3バケットを
設定する。
３．S3イベント通知に送信先をSQSキューに指定し、トリガーとして
「s3:ObjectCreated:*」を設定する。


# Page. 24

![Page Image](https://bcdn.docswell.com/page/GE5MG2WGE4.jpg)

6.BigQuery-S3 EventDriven連携
手順
４．Storage Transfer ServiceにIAMロール、S3バケット、SQSキューを
指定し、S3ーGCS間のデータ連携設定をする。
５．対象のGCSの「google.cloud.storage.object.v1.finalized」イベント
をトリガーとするCloudFunctionを作成する。
６．CloudFunctionにBigQueryへのデータ取り込み処理を実装する。


# Page. 25

![Page Image](https://bcdn.docswell.com/page/9729Y4QDJR.jpg)

6.BigQuery-S3 EventDriven連携
IAMロールにアタッチしているポリシー
AmazonS3ReadOnlyAccess
AmazonSQSFullAccess


# Page. 26

![Page Image](https://bcdn.docswell.com/page/DJY4GMWM7M.jpg)

6.BigQuery-S3 EventDriven連携
IAMロールに設定している信頼ポリシー


# Page. 27

![Page Image](https://bcdn.docswell.com/page/V7NYGW93E8.jpg)

6.BigQuery-S3 EventDriven連携
SQSキューのキューポリシー


# Page. 28

![Page Image](https://bcdn.docswell.com/page/YJ9PWX2P73.jpg)

6.BigQuery-S3 EventDriven連携
S3イベント通知設定1


# Page. 29

![Page Image](https://bcdn.docswell.com/page/GJ8DN25XJD.jpg)

6.BigQuery-S3 EventDriven連携
S3イベント通知設定2


# Page. 30

![Page Image](https://bcdn.docswell.com/page/LJLMP2YNER.jpg)

6.BigQuery-S3 EventDriven連携
Storage Transfer Service設定


# Page. 31

![Page Image](https://bcdn.docswell.com/page/47MY48NQ7W.jpg)

6.BigQuery-S3 EventDriven連携
Cloud Function設定


# Page. 32

![Page Image](https://bcdn.docswell.com/page/P7R9W5DKE9.jpg)

6.BigQuery-S3 EventDriven連携
S3にファイルをアップロード


# Page. 33

![Page Image](https://bcdn.docswell.com/page/PJXQPK157X.jpg)

6.BigQuery-S3 EventDriven連携
Storage Transfer Serviceが実行されていることを確認。


# Page. 34

![Page Image](https://bcdn.docswell.com/page/3JK9D52RJD.jpg)

7.検証結果
検証方針として挙げていた以下４パターンについて、
全て問題なく実現できることを確認した。
１．S3からBigQueryへのデータ連携
２．RedShiftからBigQueryへのデータ連携
３．BigQueryからスプレッドシートへのデータ連携
４．S3イベントドリブンによるBigQueryへのデータ連携


# Page. 35

![Page Image](https://bcdn.docswell.com/page/LE3WRK4GE5.jpg)

8.S3-BigQuery連携パターン
・S3→BigQuery間のデータ連携は大きく分けて以下の３パターン
あるが、仕様の異なる部分があるため用途に応じて使い分けが必要。
・Storage Transfer Service…
アクセスキーの払い出しが必須のため、セキュリティ的に利用が難しい
場合がある。
・BigQuery Omni…
今回の技術ソリューションでは検証できなかったが、IAMロールを
利用できるため、アクセスキーの払い出しが不要。
しかし対応リージョンが少なく、現状(検証当時)は日本のリージョンでは利用不可。
・GCS経由…
上記同様IAMロールが利用できるが追加でGCSを利用するためコストが増える。


