生成AIのFM精度比較と理想的な使い方を考えてみた

生成AIのFM精度比較と 理想的な使い方を考えてみた 2025/09/17 (水) クラウド食堂 #4 ~ AWSカテゴリ指定LT会 ~

自己紹介 廣瀬 蒼馬 (Hirose Soma) - somasun • 所属 - SIer企業 • 経歴 - 2024年新卒入社（8月よりAWSを利用開始） • Xアカウント @somasun̲aws

アジェンダ • はじめに • Amazon Bedrock とは • 今回行ったこと • まとめと理想的な使い方 • おまけ（つまづいたポイント）

Gemini GPT 生成AIのFM何を使っていますか？ Claude Nova

Amazon Bedrock とは Amazon Bedrock - AWSが提供する生成AIプラットフォーム - 複数のFMをAPI経由で簡単に利用できるフルマネージドサービス 特徴 - 複数の高性能モデルを統合APIで利用可能 - カスタマイズ性が高い（ファインチューニング、RAG、エージェント構築 .etc） - セキュリティとプライバシーを保護

今回行ったこと 概要 ① 簡単なチャットアプリケーションを作成し、3種類のFMの精度を 比較（Amazon nova micro/pro , Claude 3 Haiku） ② RAGを設定 イメージ図 ③ RAGを用いた精度確認 User Amplify Hosting Amazon API Gateway AWS Lambda Amazon S3 Amazon Bedrock

今回行ったこと ① 簡単なチャットアプリケーションの作成・FM精度比較 ~Claude 3 Haiku~ 正確にまとめられていて 理解しやすい回答 利用コストが高い

今回行ったこと ① 簡単なチャットアプリケーションの作成・FM精度比較 ~ nova micro ~ 項目ごとに整理 多くのハルシネーション 利用コストが安い

今回行ったこと ① 簡単なチャットアプリケーションの作成・FM精度比較 ~ nova pro ~ 項目ごとに整理 少しのハルシネーション 利用コストは普通

⚪︎ ⚪︎ ⚪︎⚪︎ ⚪︎ 今回行ったこと ① 簡単なチャットアプリケーションの作成・FM精度比較 精度 Claude 3 Haiku Nova micro ◎ △ 内容 Nova pro ◎ コスト △ ◎ 速度 △ ◎

今回行ったこと ② RAGの設定 くまモンらんど f https://kumamon-land.jp/pro ile/

• https://kumamon-land.jp/pro

今回行ったこと ③ 精度確認（RAG設定） ~ nova micro ~ ナレッジベースに基づい た正確な回答 ナレッジに合わせた回答 項目の出力

まとめと理想的な使い方 まとめ • Claude や Nova pro のような回答の精度が高いものは、内容が見やすいが回答速度が 遅く、コストが高い傾向があった • Nova micro のように回答の精度が低いものは、回答速度が速く、コストが低い傾向が あった → RAGを用いると精度向上 理想的な使い方 • 一般的なアプリケーションなど汎用的なものには、高精度・高コストのFM • 社内ドキュメントなど特定分野の検索や文章の要約などには、RAGやファインチュー ニングを行った低精度・低コストのFM

おまけ（つまづいたポイント） ① モデルIDと推論プロファイルIDは違う 例）amazon.nova-pro-v1:0 (モデル) / apac.amazon.nova-micro-v1:0 (推論) ② ナレッジベース作成後、データを同期しないと使用できない

ありがとうございました！