---
title: PSIRTでAIテストを​実施するまでの道のり
tags:  #psirt #セキュリティ #生成ai  
author: [サイボウズ開発本部](https://convert.docswell.com/user/cybozu-tech)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/D7Y2Q3347M.jpg?width=480
description: 2025/3/4「オワスプナイト2025/03」の登壇資料です。 https://owasp.doorkeeper.jp/events/182085  サイボウズ株式会社　​ 品質保証支援 PSIRT 小西達也
published: March 19, 25
canonical: https://convert.docswell.com/s/cybozu-tech/ZQR7NR-owasp-night-250304-konishi
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/D7Y2Q3347M.jpg)

PSIRTでAIテストを
実施するまでの道のり
サイボウズ株式会社
品質保証支援 PSIRT 小西達也
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VEN8KVV6J8.jpg)

自己紹介
• 小西 達也（こにし たつや）
• 開発本部 品質保証支援 Cy-PSIRT
• 2020年にサイボウズ株式会社入社
• 担当
◼ モバイル製品全般
◼ AIに関わる製品
• 趣味:
◼ 読書、模型製作、筋トレ


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y79KV66R73.jpg)

世の中的に生成AIを活用した機能が
盛り上がっている昨今
©️ Cybozu, Inc.
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G78RPZZGED.jpg)

サイボウズでもAI機能の促進や提供開始
サイボウズ、「kintone AIアシスタント（仮称）」β版利用ユーザーの募集を開始
https://topics.cybozu.co.jp/news/2024/11/07-18881.html
PSIRTでAIテストを実施するまでの道のり
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L7LK1DDXER.jpg)

サイボウズのPSIRTでもAIの対応が必要に！
• AIに関係するセキュリティテストや製品チームをサポートするための
体制が必要になりプロジェクトを開始しました。
• チーム体制: 2名の少数体制
• 今回は、サイボウズでAI周りのテストをするためにどのように対応していった
のかを3つ共有します。
知見収集
と整理
テスト対応
サポート対応
PSIRTでAIテストを実施するまでの道のり
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EM2WPP3EW.jpg)

知見収集と整理
©️ Cybozu, Inc.
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PERMY11R79.jpg)

テストできるようにしたいが、
AIセキュリティがわからない状態だった。。。
©️ Cybozu, Inc.
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7XVGYYYJX.jpg)

AI周りのセキュリティについて情報収集と整理を実施
• OWASP Top10 for LLM Applicationsを活用
• https://genaisecurityproject.com/resource/owasp-top-10-for-llmapplications-2025/
• AIを取り巻く攻撃の種類や観点を理解し、
テストするための知見を整理する目的で活用
• 活用の道のり:
1. 各章を読み、概要を整理
2. 擬似的なシステム図を元に攻撃の種類を整理
3. 整理したものから観点表を作成
4. テスト用のペイロード表の作成
PSIRTでAIテストを実施するまでの道のり
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/37KQ43347D.jpg)

システム図を元に攻撃の種類を整理
• 擬似的なシステムを元にAIの攻撃を
可視化
• 下記の観点で整理
• 攻撃のエントリポイントはどこか?
(
)
• テストするべき点はどこか？ (
• どこに影響をもたらすか?(
)
)
• 攻撃の種類や手法は何か？
(吹き出し)
• AIを狙う攻撃の種類や観点を把握
PSIRTでAIテストを実施するまでの道のり
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJ3PLGGD75.jpg)

攻撃観点表の作成
• 社内のテストで必要な項目のみに絞って、攻撃観点表を作成
• 下記の項目で整理
• 攻撃名
• 攻撃概要/攻撃手法
• 具体的な攻撃ペイロード
• ターゲット
• 何をされるのか(目的)
• 防御策
PSIRTでAIテストを実施するまでの道のり
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8JDLN1127G.jpg)

テスト用ペイロード表の作成
• 各観点に合わせて調査を行い、テスト用のペイロード表を作成
PSIRTでAIテストを実施するまでの道のり
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VEP25QQLE8.jpg)

その他の取り組み
• やられアプリや外部トレーニングを受講し、実践的な知識を取得
• テスト方法を整理して社内DBで一元管理
PSIRTでAIテストを実施するまでの道のり
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/27VDP5567Q.jpg)

テスト対応
©️ Cybozu, Inc.
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5JGYP662JL.jpg)

AIテストでの問題
• AIのテストは自然言語かつ表現によって結果に変化が発生する。
• 闇雲にやると膨大なテストパターンが必要となり、多くのリソースと時間が
かかる。
• リスクを明確化し、重視したいテストを絞る必要がある。
リスク1
リスク2
リスク1
リスク2
パターン1
パターン1
パターン1
パターン1
パターン2
・・・
パターンN
パターン2
・・・
パターンN
パターン2
・・・
パターンN
パターン2
・・・
パターンN
テストが膨大で
終わらない。。。
リスク１の方が影響度が
大きいので重点的にやる
PSIRTでAIテストを実施するまでの道のり
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47QM2449EP.jpg)

製品チームとの連携
• リスクの優先度や必要なテストを絞るために製品チームと連携
• 週に数回テストに向けての打ち合わせを実施
• 打ち合わせの中で以下の内容を確認
• 実装された機能の仕様確認
• 想定されるリスクと優先度の決定
• テスト項目の選定
• テスト期間の設定
PSIRTでAIテストを実施するまでの道のり
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KE4VLQLR71.jpg)

テスト実施までの連携対応フローの例
1.仕様書を元に製品チームへ
ヒアリングを実施
2.システム図からリスクの洗い出しと
テストプランの作成
影響を受ける部分
仕様書
[リスク2]
[リスク1]
説明
製品チーム
質問
洗い出し
PSIRT
PSIRT
テストプランを作成
PSIRTでAIテストを実施するまでの道のり
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L713LPLVEG.jpg)

テスト実施までの連携対応フローの例
3. 洗い出したリスクとテストプランを元に
製品チームとテストが必要な項目を選定
4.選定した内容を元にテスト実施
[リスク2]
テストプラン
テストプラン
[リスク1]
メモ
メモ
2.確認
3.修正
テスト実施
リスク1は設定から
発生しないはずなの
で優先度が低い
1.共有
PSIRT
テスト環境
PSIRT
製品チーム
リスク2は重点的
に見て欲しい
PSIRTでAIテストを実施するまでの道のり
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/G7WPV2V3E2.jpg)

テスト実施時の取り組み
• テストの終了条件としてゴールを設定する
• AIのテストはペネトレーションテストに近い
• 自然言語を扱うため、網羅性を担保しづらく終わりがない
• 下記の手段を利用し、設定したゴールを達成できるか確認
• ペイロード表を参考にしつつ、機能に合わせた言い方の変更
• LLMの回答結果を元に文章の追加や変更
• 攻撃テクニックの利用
ペイロード表
2.様々な手段を利用
し、ゴールを達成
できるかを確認
1. ゴールの設定
プロンプトインジェクション経由で
権限のない情報が漏洩しないか
・言い方の変更
・文章の追加や変更
・攻撃テクニック
PSIRTでAIテストを実施するまでの道のり
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JZK4D4GJ3.jpg)

テスト時に注意していること
• テスト範囲の設定
• プラットフォームやLLM自体へのテストにならないように工夫
• DoSを引き起こすような攻撃などをテストの対象外にしている
• テストでの記録を徹底
• 気になる挙動は画像や動画で残す
• AIの挙動は再現性が低く、同じ手順でも再現しなくなるため
PSIRTでAIテストを実施するまでの道のり
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YE6Q313QEV.jpg)

サポート対応
©️ Cybozu, Inc.
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GE5RL4L2J4.jpg)

社内でのAIセキュリティのサポート活動
• 社内のAI関係チームと連携を強化
• AIに関する情報を共有
• AIセキュリティに関する窓口対応
• 社内メンバーへの勉強会の実施
• AIのセキュリティリスクについて解説
• OWASP Top10 for LLM Applications 2025の解説
• PSIRT内での勉強会の実施
• AIの基礎からAIのセキュリティリスクについて解説
• AIセキュリティに関する実践的なトレーニングの実施
PSIRTでAIテストを実施するまでの道のり
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/972DLVL17R.jpg)

対応する上で苦労した点と解決策
• AIセキュリティに関する情報の整理と理解
• 過渡期であるため、全体像を把握するのが難しい
=&gt; [解決策] OWASP Top10 for LLM Applicationsを利用
• AIの社内でのテスト方法の検討
• 膨大なパターンがある中でどうやって対応するか?
• テストの進め方や終了条件をどうするか？
=&gt; [解決策] 製品チームとの連携による選定やゴールの設定によるテスト
PSIRTでAIテストを実施するまでの道のり
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/DJY2Q3Q4JM.jpg)

今後の改善
• AIのテストや評価に関わる基準を検討・定義
• AIのテストでの試行回数に関する基準
• 脆弱性の判断や評価に関する基準
• テスト手法の向上
• テスト手法のアップデート
• 自動化ツールの利用の検討
• 製品チームとの連携の強化
• 社内向けにAIセキュリティについて知ってもらうための活動を実施
PSIRTでAIテストを実施するまでの道のり
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V7N8KVK6E8.jpg)

ツールの紹介
• プロンプトの堅牢化をチェックするツールを公開しています。
• Prompt Hardener: https://github.com/cybozu/prompt-hardener
• 弊社でAI担当をされている湯浅さんと北村さんが開発されています。
• CODE BLUE 2024のCyberTAMAGOでも発表されました。
• 発表に関して、弊社のブログ記事で公開しています。
• CODE BLUE 2024参加レポート
https://blog.cybozu.io/entry/2025/01/15/080000
PSIRTでAIテストを実施するまでの道のり
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YJ9KV6VRJ3.jpg)

ご清聴いただき、
ありがとうございました！
25


