---
title: AWSで実現するLLMワークフロー → AWSでLLMアプリをつくろう
tags:  #jawsug #jawsug_tokyo #langchain #kendra #openai #llm #cydas #serverlessdays  
author: [吉田真吾](https://convert.docswell.com/user/yoshidashingo)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8EDD35PWEG.jpg?width=480
description: 2023.07.24 JAWS-UG東京で話した資料です。
published: July 25, 23
canonical: https://convert.docswell.com/s/yoshidashingo/ZLLVJ7-llm-app-on-aws
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8EDD35PWEG.jpg)

AWSで実現する
LLMワークフロー(仮)
2023.7.24
JAWS-UG
/
@yoshidashingo


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7PX4GNXE8.jpg)

吉田真吾 AWS Serverless Hero
n
p
p
113
p AWS
/
SA
Oracle
n
(
)
p
( )
p AWS
n
AWS
AWS Lambda
Amazon S3
BRAv6
p AWS
CTO
SaaS
DevOps
(2012 )
p AWS Samurai 2014 / 2016
p AWS Serverless Hero


# Page. 3

![Page Image](https://bcdn.docswell.com/page/2JVLX6K37Q.jpg)

https://tokyo.serverlessdays.io/
↓
“Get Tickets”
↓
𝕏 “ServerlessDays Tokyo 2023 に参加を申し込みました！”


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5EGXVNQYJL.jpg)



# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JQ86QK67P.jpg)

RAG(検索拡張生成)アプリ
「CYDAS PEOPLE」に、社員からの問い合わせに自動で答えるChatGPT機能「CYDAS PEOPLE Copilot Chat」
https://www.cydas.co.jp/news/press/202304_people-gpt/


# Page. 6

![Page Image](https://bcdn.docswell.com/page/K7424NPMJ1.jpg)



# Page. 7

![Page Image](https://bcdn.docswell.com/page/LJ1M459YEG.jpg)

世は大LLM時代
AIの民主化 = アプリ開発者がLLMアプリをユーザーに届けやすい時代
もっと小難しいもんかと思ってたよ


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJW3X5Q1J2.jpg)

タスク ❌ → 業務 ⭕
= ワークフロー
複数のタスクをプログラミングによる制御と、LLMによる制御をつないで
実現する


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EZV6NWXJ3.jpg)

学んだこと
1. RAGは実装しやすい→[UX観点]従来の検索UI(LLMsなし)で解決できる？
2. 埋め込み表現(Embeddings)取得してベクター類似検索するより、エンタープ
ライズ検索のほうがたいてい、すべてにおいて良い
3. LLMの能力を活かすワークフローが重要
1.
2.
出力が確定的なプログラミングと、非確定的なLLMの組み合わせ
複数のタスクをチェインしていく🦜🔗
4. 🦜🔗はアイデア＋実装の宝庫
1.
2.
ReAct → langchain.agents
HyDE → 質問の答えをLLMが妄想して、その答えに類似した知識を検索 from
langchain.chains import HypotheticalDocumentEmbedder
5. LLMOps MLOps
1.
2.
3.
入力の変化 / 出力の変化に気づきづらい
気づいたとてできることが限られる = APIやモデルの差し替え、プロンプトの調整(＋
バージョン管理)
レスポンスタイムなどは取得しておくべきだろう ex) LangSmith


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y76528GPEV.jpg)

Amazon Kendra + 🦜🔗
⾼精度な⽣成系 AI アプリケーションを Amazon Kendra、LangChain、⼤規模⾔語モデルを使って作る
https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprisedata-using-amazon-kendra-langchain-and-large-language-models/


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G75Y29VP74.jpg)

🦜🔗 学ぶなら
Udemy - LangChainによる大規模言語モデル（LLM）アプリ
ケーション開発入門―GPTを使ったチャットボットの実装まで
https://www.udemy.com/course/langchain-apps/


# Page. 12

![Page Image](https://bcdn.docswell.com/page/9J2G423ZJR.jpg)

🦜🔗 学ぶなら
もくもくLangChain
https://langchain-jp.connpass.com/event/289590/


# Page. 13

![Page Image](https://bcdn.docswell.com/page/DEYVMY1NEM.jpg)

セキュリティとプライバシー
本番環境利用に向けて


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJNMWP2V78.jpg)

AWSのクラウドセキュリティ/データ保護
• 事実
• AWSはセキュリティに莫大な投資：複数のサービス、複数のコンプラ
イアンス準拠
• クラウドをクラウドたらしめてるもの = AIによるコントロール
• 予測
• [1/5] セキュリティは組織のあらゆる活動に不可欠になる
• [3/5] AI/機械学習で促進されたオートメーションがセキュリティを強
化する
• Amazon GuardDuty、Amazon Detective、Amazon CodeGuru、Amazon
Macie…
• [4/5]データ保護へのより大きな投資が進む
• GDPR同様の規制の世界各国への広がり・実運用の強化
CJ Moses による 2023 年以降の セキュリティに 関する予測
https://d1.awsstatic.com/Security/Security_Predictions_e-book_2022_JP.pdf


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE9NX31VE3.jpg)

OWASP Top10 LLMアプリ[draft]
1.
プロンプトインジェクション
6.
• LLMが意図しない動作を引き起こすプロンプトの
上書き
2.
安全でない出力処理
• 応答で機密データを漏洩する可能性→不正アクセス、
プライバシー侵害、セキュリティ侵害
7.
• バックエンドシステムの情報が出力されることに
よる悪用
3.
トレーニングデータの汚染
8.
5.
サプライチェーンの脆弱性
• プラグインや3rdパーティのコンポーネントから
の侵害
エージェントの暴走
• 自律的なエージェントが意図しない結果をもたらす
アクションを実行する可能性
モデルへのDoS
• 大量のトークン消費、レスポンス悪化、コスト高
騰
安全でないプラグイン設計 (※5と類似?)
• プラグインから安全でない入力により脆弱性が悪用
される
• セキュリティ、有効性、倫理的ふるまいへの影響
4.
機密データの漏洩
9.
過度な依存
• 不正確・不適切な生成コンテンツに依存してデマ、
法的問題、セキュリティ脆弱性に直面する
10. モデル泥棒
• 独自モデルへの不正アクセス、流出→経済損失、競
争優位性低下 (※蒸留ファインチューニングもグレーかも)
OWASP Top 10 for Large Language Model Applications
https://owasp.org/www-project-top-10-for-large-language-model-applications/


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE8K2M447D.jpg)

個人データ保護法制：チェックすべき論点
• 何を保護するのか→「個人の権利利益」
• 個人データ保護の「決定指向」利益モデル
• 自己情報コントロール権ではなく、情報的他律からの自由
• われわれに何が求められうるのか
• 自己情報コントロール権=財産権的モデルの本人同意原則(オプトイン/オプトアウト)→なにが
個人情報でなにが個人情報でないという議論になる
• 情報的他律=個人データ処理に基づく他者による評価・決定が本人の自己決定を阻害しうるこ
と→からの自由(防御できること)
• たとえば
• 古い属性情報、あいまいな属性情報で職場での評価が決められた
※そもそもOECD原則(データ品質の原則)にも反しているが。
• 関連性のない情報で不利なクレジットスコアが決定された
→ これらをシステムでモニタリングする不断の努力が求められうる
• 理論的基礎から法体系への整理
• 統制された非選別利用→医療仮名加工情報：統計量に集計したデータ、または二次利用
• 個人データ処理中心の規律→処理対象としないデータのマスキング、オプトイン処理の負担
• 評価・決定の適切性確保→選別アルゴリズム(適性で選別した教育プログラム、OK？)
【提⾔書公表】デジタル社会を駆動する『個⼈データ保護法制』に向けて（GLOCOM六本⽊会議）
https://www.glocom.ac.jp/news/news/8540


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LELZ236VJR.jpg)

🦜🔗 Experimental パッケージ分割
• ビッグニュース
• CVE(脆弱性)を含む機能をすべて別パッケージ(Experimental)に
• 🦜🔗コアのスリム化
• Communityチェインというパッケージの計画にも言及
• 意味すること
• 本番では使えない → 使いうる
• この1年弱、無制限に拡張される一方だったのでLambda Layerにい
つか乗らなくなる → 一定の交通整理がされるようになる
• 論文の実装や野心的なアイデアの実装がよりPR出しやすくなる
• AWS Lambdaでの利用
• 現在のサイズ：依存ライブラリ含めた展開後サイズで130MB程度
• スピンアップにはおおむね5秒程度はかかる→Slackから使う場合は
Lazyリスナーやリトライヘッダのチェックなど複数の対策が必要


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JMV8D5NJW.jpg)

https://tokyo.serverlessdays.io/
↓
“Get Tickets”
↓
𝕏 “ServerlessDays Tokyo 2023 に参加を申し込みました！”


# Page. 19

![Page Image](https://bcdn.docswell.com/page/PJR25434E9.jpg)

DAYS史上最高のラインナップ
• 豪華セッション
• キーノート：AWS
• (1)サーバーレス10年の成熟
• (2)サーバーサイド主体からエッジ/フロントへの開発ライフサイクル
の変化
• (3)生成AIとサーバーレス
• 豪華スポンサー
•
•
•
•
•
•
AWS
Momento
PingCAP (TiDB)
Microsoft
KDDIアジャイル開発センター
Serverless Operations


