---
title: 20250313_AsiaQuest×Fusic勉強会
tags: 
author: [Yuki Kawara](https://convert.docswell.com/user/kawara-y)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/D7Y23QRQ7M.jpg?width=480
description: 20250313_AsiaQuest×Fusic勉強会 by Yuki Kawara
published: March 13, 25
canonical: https://convert.docswell.com/s/kawara-y/K7R3YV-2025-03-13-193619
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/D7Y23QRQ7M.jpg)

CONFIDENTIAL
サーバレスで LLM を動かしたい！
【AsiaQuest×Fusic】AWSから表彰されたエンジニアが語る！2社コラボLT会
2025.03.13
瓦祐希
@kawara_y
©Fusic Co., Ltd.
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VEN8VKD2J8.jpg)

はじめに
自己紹介
株式会社 Fusic
事業本部 先進技術部門 機械学習チーム
瓦 祐希
Yuki Kawara
• 博士（情報科学）
• 2024 Japan AWS Jr. Champions
• 甲賀忍者検定初級
• ビール検定三級
@kawara_y
©Fusic Co., Ltd.
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y79K6VGD73.jpg)

コンテンツタイトルの書式設定
サーバレス（Lambda）で
機械学習モデル動かしたくない？
©Fusic Co., Ltd.
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G78RZPV5ED.jpg)

過去に Lambda で 3B の LLM を動かした
• パラメータサイズ 3B の LLM を Lambda で動かした [1]
（参考までに、Deepseek-R1 のパラメータ総数は 671B[2]）
• Lambda のメモリ上限は 10 GB なのでモデルのサイズを少なくとも
10 GB 以下にする必要がある → 量子化を使用
• 3B のモデルでは 5.3GB から 1.6GB になり、無事 Lambda で動いた
• しかし 7B のモデルは Lambda で動かなかった
（恐らく実行時にメモリサイズを超過する）
@kawara_y
[1] https://zenn.dev/fusic/articles/llm-on-aws-lambda
[2] https://huggingface.co/deepseek-ai/DeepSeek-R1
©Fusic Co., Ltd.
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L7LKD153ER.jpg)

Lambda で LLM を動かすために
3B のモデルだったら量子化することで
Lambda のメモリ制限内に収まって動くけど、
7B のモデルは実行時に多分メモリサイズを超過して
モデルが動かなくなるなあ…
どうにかして動かないかな…
でも量子化しても無理なら諦めるか…
@kawara_y
©Fusic Co., Ltd.
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EM2PW3MEW.jpg)

ある日の夢の中で…
Transformer の形よく見てみ。
何かに似てる気しねえ？
AWS 知ってる君なら分かるよね？
@kawara_y
©Fusic Co., Ltd.
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PERM1YQL79.jpg)

LLM の構造
• Transformer ベースのモデルでは
「タスク」をいくつか組み合わせた
ようなものになっている
• 各タスクは前の処理結果を
受け取って計算して次のタスクへ
• ワークフローを定めたら計算結果が
勝手に流れていくだけ
→ StepFunction に見えてくる…？
ブロック内での処理
@kawara_y
©Fusic Co., Ltd.
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7XVYGR6JX.jpg)

実際に作るもの
• Llama-3.1-Swallow-8BInstruct-v0.3 を使った
• モデルの構造は右図
• 例えば LlamaDecodeLayer は
32 層ある、なんてことが分かる
@kawara_y
©Fusic Co., Ltd.
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/37KQ34RG7D.jpg)

実際に作ったもの
• 各タスクでの処理を Lambda で書いて、
それを組み合わせることで LLM の挙動を再現
• 処理結果（各ステート）の受け渡しは S3 経由
（ペイロードの上限を大幅に超えたため）
@kawara_y
©Fusic Co., Ltd.
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJ3PGL8575.jpg)

実際に作ったもの
• 各タスクでの処理を Lambda で書いて、
それを組み合わせることで LLM の挙動を再現
• 処理結果（各ステート）の受け渡しは S3 経由
（ペイロードの上限を大幅に超えたため）
• ContinueDecode で何回処理をするかを判断
（モデルによって異なるので、決め打ちしたくない）
@kawara_y
©Fusic Co., Ltd.
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8JDL1NMY7G.jpg)

実際に作ったもの
• 各タスクでの処理を Lambda で書いて、
それを組み合わせることで LLM の挙動を再現
• 処理結果（各ステート）の受け渡しは S3 経由
（ペイロードの上限を大幅に超えたため）
• ContinueDecode で何回処理をするかを判断
（モデルによって異なるので、決め打ちしたくない）
• ContinueGenerate で単語の生成を続けるか判断
@kawara_y
©Fusic Co., Ltd.
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VEP2Q5R2E8.jpg)

4 トークン出力してみた結果
• 「秋風がそ」まで出力されており、プロンプトに沿っていそう
→ 恐らく LLM がちゃんと動いている！
• 4 トークンで 30 分くらいかかっており、とてつもなく遅い
（うまく改善したいがいい感じのを思いついていない）
@kawara_y
©Fusic Co., Ltd.
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/27VD5PRX7Q.jpg)

まとめ
• 「Lambda で LLM を動かしたい」という熱意だけで、無理やり LLM が
Lambda で動かせるような仕組みを作ってみた
• 実用的な部分はほとんどない（あまりにも遅すぎるため）
• LLM の仕組みを知れるので面白いし、実際に動くと結構感動するので
オススメ！（GitHub にコードも一応公開してます[3]）
[3] https://github.com/yukikawara/swallow-on-lambda
@kawara_y
©Fusic Co., Ltd.
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5JGY6PMRJL.jpg)

Thank You
ご清聴いただきありがとうございました！
We are Hiring!
https://recruit.fusic.co.jp/
@kawara_y
©Fusic Co., Ltd.
13


