---
title: 評価が大事
tags:  #ai agent  
author: [Tsumiki](https://convert.docswell.com/user/tsu-miki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/9721QZGDER.jpg?width=480
description: AIエージェント開発における評価の重要性について話したLT
published: December 23, 25
canonical: https://convert.docswell.com/s/tsu-miki/KYV39N-ai-agent-evaluation
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/9721QZGDER.jpg)

評価が大事


# Page. 2

![Page Image](https://bcdn.docswell.com/page/DJYZWRVMEM.jpg)

目次
1. Speeda Agent チームでやっていたこと
2. 学び① 評価が大事
3. 学び② 正解データが大事


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7N39DM378.jpg)

Speeda Agent チームでやっていたこと


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YJ992GNPJ3.jpg)

学び① 評価が大事
GitHub Copilotは、間違いなく LLMを使った最初の産業規模のアプリケーションで
す。先手を打つことの呪いは、（今では）誰もが知っていることを笑えるほどに無視
してしまい、後から考えると、自分が下した選択の一部が愚かに見えてしまうことで
す。
しかし、私たちが絶対的に正しかったことの 1つは、どのように始めたか でした。
GitHub Copilotのコードベースの最も古い部分は、プロキシやプロンプト、 UI、アプ
リケーションを IDE拡張機能として設定するボイラープレートではありません。 私た
ちが最初に書いたコードは「評価」 であり、そのおかげで、他のコードとともに非常
に早く、成功裏に進むことができました。
なぜなら、私たちが行ったすべての変更について、その変更が正しい方向への一
歩、間違い、あるいは、あまり影響を与えなかった、よい試みだったのかを直接確
認できたからです。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GJ895VKXED.jpg)

Agent 開発初期の状況
● テスト書いてない
● 確認コストが大きい
● リグレッションに気付けない
● 安心感がない（個人的に）


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJLWY5ZN7R.jpg)

LLM を使ったアプリケーションのテスト
● LLM の出力は確率
● 評価項目の例
○ 構造の正しさ、ソースとの整合性、意味的な一致
（E2Eテスト, ユニットテスト的なものを作っていきたい）


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47M9N3VQJW.jpg)

評価手法
● オフライン評価（デプロイ前）
○ 人間による評価
○ 自動評価
■ ROUGE, BERTScore, LLM-as-a-Judgeなど
● オンライン評価（デプロイ後）
○ ABテスト、Good/Bad など


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7RGDQ2KJ9.jpg)

評価を始めてどうだったか
● ROUGE, BERTScore, LLM-as-a-Judge
● まず始めるのが大事
● 確認コスト減った
● 安心感があった（個人的に）
● とはいえ、課題はたくさんある


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJXX15D5JX.jpg)

学び② 正解データが大事
● 正解データがないと評価できない（当たり前）
● ゴールデンデータセットを用意せよ
○ プロンプトとそれに対応する正解回答


# Page. 10

![Page Image](https://bcdn.docswell.com/page/3JKW26XRJD.jpg)

道のり
● 正解データを作る
↓
● 正解データに出力を近づける
↓
● 出力を安定させる


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LE31465G75.jpg)

正解データを作ることを後手に回さない
● 正解データは動く前提で、意識的に作りにいく
● 作って貰える状況なら、早めに依頼する
● 無理なら、Biz側も巻き込んで早めに一緒に作る？


