253 Views
August 04, 25
スライド概要
CEDEC2025の登壇資料です。
https://www.tech-flag.co.jp/
アーケードカードゲーム制作における生成AIを用いたQA自動化 ~AI活用による効率的なチェックプロセスの実現~ 2025年7月24日 株式会社バンダイナムコエクスペリエンス 株式会社テックフラッグ
このセッションで得られる知見 • アーケードカードゲームでのQA自動化の知見 • ゲーム開発におけるVQA(Visual Question Answering)の知見 2
アジェンダ 1. バンダイナムコエクスペリエンスについて ① 自己紹介 ② 採用タイトル ③ 今回の取組みを行う目的 2. 開発チーム体制について ① テックフラッグについて ② 自己紹介 ③ 昨年の振り返りと今年への推移 3. 実カードを含むカードゲームのチェックプロセスと自動化の対象 ① ② ③ カード仕様の文言のチェック 版下画像の倫理的側面のVQAチェック カード仕様 vs 版下画像・版下画像データ vs 実カードの突き合わせチェック 4. まとめ 3
バンダイナムコエクスペリエンスについて
●バンダイナムコエクスペリエンスについて バンダイナムコグループの一員です。 アミューズメント機器の企画・開発や、従来の施設にとどまらない「体験」を軸にしたエンターテインメントの企画・ 開発を手掛ける会社として、2025年4月に始動しました。 アミューズメント機器や施設の企画・運営を手掛けていた株式会社バンダイナムコアミューズメントから企画プロ デュース事業を分社した形になります。 ©窪岡俊之 THE IDOLM@STER™& ©Bandai Namco Entertainment Inc. ©Bandai Namco Experience Inc. 5
●自己紹介 岡本 吉弘 (オカモト ヨシヒロ) 株式会社バンダイナムコエクスペリエンス コーポレートディビジョン クオリティマネジメント部 クオリティマネジメント課所属 主としてコンシューマーゲームのプロデュース・ディレクション業務に長らく携わってきました。 モノクロゲームボーイの時代からスタートし、PSPやPS3等のローンチタイトルも含め 関わったタイトルは「ガンダム」や「エヴァンゲリオン」といったIPタイトル含め30本以上。 少しハードも判るため周辺機器の開発にも携わっており、 それもあってか遊技機やAM製品の開発経験も有しています。 またプロジェクトマネジメントの有資格者でもあり、現在はその知見を活用し 品質保証部門でAIを用いた製品の品質向上活動などに注力しています。 一昨年度からはAIエンジン(生成AI)を使った実用性の高い業務APIの開発を いわゆるシステムインテグレーターの立ち位置から行っています。 6
採用タイトルについて 今回は担当していたデバッグ部署のアーケードカードゲームにおいて 人力に頼らざるを得なかった物理カード制作のチェックに焦点を当てました。 できるだけ実際のチェックプロセスに取り込むために、 実運用タイトルである1件(非公表)とアニマルカイザーを選択しました。 7
今回の取組みを行う目的 • 人からAIへ完全に置き換えることは想定していない ➡ 人力100% + AIによるN% • 人は人が得意なことに集中できるような環境へ 8
開発チーム体制について
テックフラッグについて 2020年設立 NJホールディングス100%子会社 ※NJHDは「ゲームスタジオ」「トライエース」「ウィットワン」などのゲーム開発会社を グループに持つデベロッパー集団 AIなどの最先端技術を用いてグループ内外のゲーム開 発やソフトウェア開発の自動化・効率化のためのソフト ウェアを研究・開発を行う 外 部 開 発 会 社 • 本取り組みにおける人員構成 プロダクトマネージャー 1名 ML Engineer 1名 Backend Engineer 1名 10
自己紹介 山中 亮 株式会社テックフラッグ Game Development Sect. Section Manager 兼 Technical Product Manager 複数の開発会社でゲームプレイプログラマーとして 主にバトルpartの新規/運営開発を経験 2021年テックフラッグ入社 ゲーム開発の自動化チームに参加しつつ、マネージャーとして組織ビルディング・チームビル ディングを行う ゲームAI全般好き ※過去の登壇 CEDEC2022「受託型開発会社が始める3Dアクションゲーム開発効率化のためのQA自動化への道のり~千里の道も一歩から~」 CEDEC2023「受託型開発会社が実現する3DゲームのQA自動化~去年からのアップデートと千里の道を踏破するBot開発~」 CEDEC2024「生成AIと自動プレイBotによるアーケードゲームのQA自動化に向けた実証実験~ハードウェア制限との試行錯誤とそこから分かった 目指すべきアーケードゲームQA自動化の将来像~」 11
昨年の振り返りと今年への推移
気軽にアンケート その前に… 昨年の私たちの発表を聞いていただいていた方はいらっしゃいます か? 13
CEDEC2024の振り返り 生成AIと自動プレイBotによるアーケードゲームのQA自動化に向けた実証実験 ~ハードウェア制限との試行錯誤とそこから分かった目指すべきアーケードゲームQA自動化の将来像~ アーケードレースゲームを題材にQA自動化の実証実験を実施。 自動プレイの模索と生成AIを用いた車種判定の検証を実施しました。 • • • • コントローラパッドの信号キャプチャによるリプレイ操作Bot レース中の映像をもとにコントローラパッド信号を送信し操作するBot 人の手を借りずとも繰り返しプレイを実現することでエージングテストを可能にする MCQ(Multiple Choice Question)形式で実写画像との比較(車種判定AI) 14
得られた成果を基にした横展開 • MCQ(Multiple Choice Question)形式で実写画像との比較(車種判定AI) 生成AIを用いたMCQ形式での実験結果はレースゲーム以外にも応用が効きやすいこちらを ベースにカードゲームへの応用を模索 CUTE GIRL 15
気軽にアンケート その前に… ゲーム開発に携わる仕事で実際に生成AIを用いている方は手を 上げていただけますか? 16
気軽にアンケート さらに… 手を挙げた方の中で、実際にチームの業務ワークフローに組み込む ことが出来た方は手を上げていただけますか? 17
去年の成果をもとにしたステップアップ 実験 実際の品質管理業務 ワークフローとして導入 18
実カードを含むカードゲームのチェックプロセスと自動化の対象
●カード制作の流れ 版下(はんした) / camera-ready copy;block copy;art copy 製版用の原稿。写植印画紙・ロゴ・線画などを台紙に貼り込み,完全版下となる。台紙には各ページを構成する版面寸法,中心トンボ,仕上がり線な どが書かれている。従来、版下とは,手書き文字やロゴなどをさしていたが,電算写植や電子組版,DTP等により出力した印画紙を,製版用原稿の意味 で「版下」とよぶようになった。 ※一般社団法人 日本印刷産業連合会 より引用 20
カード制作の流れ カード制作のプロセスの中で、現状のAIの性能とかけられるコストを考慮すると それぞれの以下のプロセスでAIを活用した自動化が可能であると考えました。 カード仕様の文言 チェック 版下画像の倫理的側面の チェック カード仕様 vs 版下画像の 突き合わせチェック 版下画像 vs 実カードの突き合わせチェック 21
自動チェックシステムアーキテクチャ 版下画像 実カードスキャン画像 チェック結果 22
カード仕様の文言のチェック
カード制作の流れ カード仕様の文言 チェック 版下画像の倫理的側面の チェック カード仕様 vs 版下画像の 突き合わせチェック 版下画像データ vs 実カードの突き合わせチェック 24
文言のチェック動作フロー ・OCR 日本語に対する性能を重視し、汎用モデルやローカルモデル(YomiToku)などを検討し選択しな がら利用している。 ・GPT-4T チェックの検知性能では他のモデルの選択もあり得たが、文言(テキスト)のチェックであることもあり、 コストや処理速度とバランスを考慮して GPT-4 Turbo を選択した。 25
文言のチェック 動作フロー カード仕様のテキストをOCRで読み取り 誤字脱字や表現に問題が無いかチェックしました。 AI 「少しづつ」ではなくて「少し ずつ」 26
実際の事例 Prompt Answer source: 少しづつ suggest: 少しずつ ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJSONに指定する部分なので省略) 1. 与えられたテキストに校正が必要かどうかを考えます。ただし以下の場合は校正が必要ありま せん。 ・平仮名表記の単語は漢字に変換しないでください。 ・誤字の修正は指摘しないでください。 2. 校正が必要な場合は、下記の「#校正リスト」を参考にして校正を行います。 #校正リスト ・文法の誤り 1. 語形の誤り ・動詞・形容詞の活用の誤り: 動詞や形容詞の活用形が誤って使われる例。 例: 「行きます」ではなく「行かます」、「楽しかった」ではなく「楽ししかった」 ・助詞の誤り: 助詞の使い方が誤っている例。 例: 「私はりんごが好き」ではなく「私はりんごを好き」 2. 語順の誤り ・・・ reason: 「少しづつ」は「少しずつ」の誤字 であるため修正しました。 27
版下画像の倫理的側面のVQAチェック
カード制作の流れ カード仕様の文言 チェック 版下画像の倫理的側面の チェック カード仕様 vs 版下画像の 突き合わせチェック 版下画像データ vs 実カードの突き合わせチェック 29
VQA(Visual Question Answering)とは? Visual Question Answering(VQA)とは,ある画像とその画像に関する質問を提示されたときに,正しい答え を導き出すタスクです. このタスクが広く知られるようになったきっかけとして,2016年のCVPRでコンペティションが行わ れたことが挙げられます. このコンペティションは,数十万セットの質問文と画像と答えのセットから正しい答えを導きだ すモデルを学習させ,その精度を競うというものでした. YES/NOで答えられるものから,物体に何が映っているかを 示すもの,数を答えなければいけないものまで,質問文の種類は様々なものが用意されています. (※より引用) ※東京大学 先端科学技術研究センター https://www.mi.t.u-tokyo.ac.jp/default/vqa 30
●倫理的側面のチェック 動作フロー 版下画像そのものに問題が無いか(例えば、画像が過度に暴力的であったり 性的であったりしないかなど)のチェックも行いました。 検知設定の項目例 性的表現 暴力表現 宗教・文化 国際問題 時事問題 etc… 版下画像 ・GPT-4o VQAとオブジェクト検知の性能とコスト・スピードでバランスが取 れており選択している。直近ではGPT-4.1やGemini-2.5も 使用している。なお、プロンプトは英語を使用。 画像のキャラクターは、肩と 胸の上部が露出している ため、わずかに性的な要素 と解釈されるかもしれない、 ノースリーブで胸元の開い たドレスを着ています。 チェック結果 31
実際の事例 Prompt ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJSONに指定する部分なので省略) You are responsible for checking the ethics of the images. does this image include "excessive skin exposure"? (yes/no) (省略) “excessive skin exposure” refers to … (チェックする対象の概要) Below are examples of judgment results in specific cases. Please use them as a reference for your own ethics checks. (例示の説明) ~~~ 2. An anime scene where a character's chest area is slightly exposed. //no 3. An anime scene where a character is wearing shorts, exposing the thighs, but the rest of the body is fully covered. The character's thighs are approximately 50% exposed, but the upper body is fully covered by a T-shirt, and no particular focus is given to any body parts. //no Answer answer_and_reason: Yes.Because the image depicts a female character wearing a revealing costume made of lace material, and the design and focus of the costume indicates that it contains a large amount of exposed skin around the chest area and a clear sexual element. 32
発生した誤検知などの問題 "問題あり"と検知するための案件に依存する基準の調整が難しく、場合によっては感 度が高すぎて誤検知が増える課題がありました。 そこで、観点を細分化することやVQAに具体的な事例を与える(few-shot)与え 方を工夫することで精度を上げました。 Prompt Answer answer_and_reason: No. ------------------------------------------------------------------------------------------------~~~ 2. An anime scene where a character's chest area is slightly exposed. The chest exposure is limited to about 50%. //no 3. An anime scene where a character is wearing shorts, exposing the thighs, but the rest of the body is fully covered. The character's thighs are approximately 80% exposed, but the upper body is fully covered by a T-shirt, and no particular focus is given to any body parts. The exposure of the thighs alone does not constitute "excessive exposure." //no 33
動作確認用アプリでのデモ 問題なし版 34
動作確認用アプリでのデモ 問題あり版 35
カード仕様 vs 版下画像/版下画像データ vs 実カード のVQAチェック
カード制作の流れ カード仕様の文言 チェック 版下画像の倫理的側面の チェック カード仕様 vs 版下画像の 突き合わせチェック 版下画像データ vs 実カードの突き合わせチェック 37
●カード仕様 vs 版下画像の突き合わせチェック 動作フロー カード仕様として作成されたドキュメントのテキストデータについて、版下画像において 文字列として正しいか、また、言語で表現された設定(例えば、レアリティやカードの 種類など)が正しいかをチェックしました。 データを構造化して抽出する ためのツールを作成 版下画像も仕様に対応した形式に 編集するツールを作成して対応 38
実際の事例 - カード仕様 vs 版下画像 カード仕様書のなかのチェックする対象の項目名を指示するだけではチェックすることはできませんでした。 対象の位置を示したり周辺のレイアウトを与えたりすることで精度を上げていきました。 カード仕様書の中身に合わせてプロンプトのパラメータを変化させて質問しています。 Prompt Answer _a:OK_r:The exact text "R" is present in the top left-hand corner of the image. ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJsonに指定している部分のため省略) You will be supplied n images of either of the front or back of cards or for reference, followed by questions regarding them.All questions relate to the last image provided. All previous images should be considered references. If there is only one image, the question relates to that image.Answer questions in the order you get them. ~~~ Is the exact text "R" present in the top left hand corner of the image? No more or less letters., Identify the text in the image. Does it include the text ‘フレーバーテキストA' exactly?, _a:NG_r:The extracted text is different from the given text, particularly in the second sentence, which does not appear in the extracted text. 39
実際の事例 - カード仕様 vs 版下画像 カード独自のエンブレムなどは、AIにとってはそもそも知らない情報のためチェックすることが できませんでした。 そこで、リファレンスとなる画像を複数与え、選択させることでチェックを行いました。 Prompt ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJsonに指定している部分のため省略) You will be supplied n images of either of the front or back of cards or for reference, followed by questions regarding them.All questions relate to the last image provided. All previous images should be considered references. If there is only one image, the question relates to that image.Answer questions in the order you get them. ~~~ 'Is the icon in the reference present in the second image?' Answer _a:OK_r:The icon in the reference image appears in the second image under the “アイテム" (Item) section. 40
実際の事例 - カード仕様 vs 版下画像 現状のAIであれば、理論上は言語が異なっても同様のチェックができると考えました。 同じ仕組みを使ってアニマルカイザーの中国語(簡体字)のカードでもチェックを行いました。 Prompt Answer _a:OK_r:The text includes '少年百兽之王' exactly. ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJsonに指定している部分のため省略) You will be supplied n images of either of the front or back of cards or for reference, followed by questions regarding them.All questions relate to the last image provided. All previous images should be considered references. If there is only one image, the question relates to that image.Answer questions in the order you get them. ~~~ Identify the text in the image. Does it include the text '少年百兽之王' exactly?, 41
カード制作の流れ カード仕様の文言 チェック 版下画像の倫理的側面の チェック カード仕様 vs 版下画像の 突き合わせチェック 版下画像データ vs 実カードの突き合わせチェック 42
●版下画像データ vs 実カードの突き合わせチェック 動作フロー 版下画像と実カードとのチェックでは、実カードをスキャンして画像にすることによ りチェックを行いました。 スキャン 43
実際の事例 - 版下画像データ vs 実カード カード仕様の各項目に対して版下PDFと実カード画像PDFで突き合わせチェックをしました。 テキストやカード独自のエンブレムなどは期待したチェックをすることができました。 Prompt ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJsonに指定している部分のため省略) You are an AI assistant that helps people find information. Your job is to check pictures of cards against other pictures of cards. You will be supplied n images of either of the front or back of cards or for reference, followed by questions regarding them. All questions relate to the last image provided. All previous images should be considered references. If there is only one image, the question relates to that image. Answer questions in the order you get them. ~~~ Is the exact text "R" present in the top left hand corner of both images? No more or less letters., Identify the text in both images. Does it include the text 'フレーバーテキストA' exactly?, Answer _a:OK_r:The exact text "R" is present in the top left corner of both images with no added or missing letters. _a:OK_r:The text includes "フレーバーテキストA" precisely in both images. 44
●実際の事例 - 版下画像データ vs 実カード 箔押しのテキストやエンブレムなどの形状自体を認識することはできましたが、 印刷の部分的なズレや微妙な色の違いなどは課題が残る結果となりました。 Prompt Answer 4C 箔押し ------------------------------------------------------------------------------------------------(システムプロンプト) (出力形式をJsonに指定している部分のため省略) You are an AI assistant that helps people find information. Your job is to check pictures of cards against other pictures of cards. You will be supplied n images of either of the front or back of cards or for reference, followed by questions regarding them. All questions relate to the last image provided. All previous images should be considered references. If there is only one image, the question relates to that image. Answer questions in the order you get them. ~~~ Is the icon in the reference present in the second and third images? _a: OK _r: The icon from the reference is present in the upper left corner of both the second and third images. アイコンの微妙な色の違いは認識 できずにスルーしてしまう結果に 45
まとめ
本セッションのまとめ • CEDEC2024での成果 「生成AIを用いたMCQ形式での車種判定」 を活かした横展開 • カードゲームを題材に「実カードを含むカードゲームのチェックプロセスと自動化」を実現 1. カード仕様の文言のチェック OCRとLLMにより、誤字脱字やセリフとしての違和感などを検出 2. 版下画像の倫理的側面のVQAチェック 版下画像に対して性的・暴力・宗教・文化などの視点からの自動チェック 3. カード仕様 vs 版下画像・版下画像データ vs 実カードの突き合わせチェック カード仕様と版下画像を突き合わせて項目ずつチェック。 実カードはスキャンして版下画像と比較。 実験で終わらず、正式に業務ワークフローとして導入することに成功 47
●システム導入の成果 ちなみに「AIカードチェッカー」を導入後、カードに印刷されたテキストに関する誤字・脱字や、画 像やクレスト、サインといった印刷内容間違い発生件数は… 48
●システム導入の成果 ちなみに「AIカードチェッカー」を導入後、カードに印刷されたテキストに関する誤字・脱字や、画 像やクレスト、サインといった印刷内容間違い発生件数は… 0件 49
●バンダイナムコエクスペリエンスとしての総括 昨年度の講演では一昨年にふとした思いつきから始めたAPI開発で得られた 知見の共有でしたが、本年度はそちらで獲得した「同定AI」を下地にし 少しでも業務に建前では無く本当に実用性を以て貢献したい、と 考えて制作したものが今回の「AIカードチェッカー」なるものです。 このあたりはプロデュース時代にカードゲーム開発で散々苦労した経験が ヒントになっていたりしますね。 こちらは今現在も実際に業務に使用しており、日々ブラッシュアップしながら 成長させていますが、個人的にはもっと様々な業務に応用できると考えています。 また、これ以外にも多くの実験(API開発のトライ&エラー)を行っていますので、 これらにおいても実用性が認められ次第、どんどん業務に活用していきたいと 思っていますし、まずはグループ会社へ普及できればと思っています。 現在はそのためのポータルサイトを構築中ですので、完成した際には また皆さんに我々の活動をご報告できればと思っています。 本日はありがとうございました。 50
テックフラッグとしての統括 今年は物理的なカードの制作工程を対象にチェック作業を自動化しました。 まだ課題はあるものの ・文言や画像そのものの内容をAIによってチェックする ・カード仕様に対して画像をAIによってチェックする ことを昨年の実験段階から運用できる形に昇華できた点で成果がありました。 カード仕様という”リスト”と版下の”画像”を比較してチェックすることは新しいチャレンジ でしたが、他の分野でも応用ができると考えています。 アニメにおける”台本”と”セリフ・テロップ”やグッズなどの”副次的な制作物”などにも 応用して更なる実用に繋げていきます。 51
ご清聴ありがとうございました
質疑応答 • カードゲームを題材に「実カードを含むカードゲームのチェックプロセスと自動化」を実現 1. カード仕様の文言のチェック OCRとLLMにより、誤字脱字やセリフとしての違和感などを検出 2. 版下画像の倫理的側面のVQAチェック 版下画像に対して性的・暴力・宗教・文化などの視点からの自動チェック 3. カード仕様 vs 版下画像・版下画像データ vs 実カードの突き合わせチェック カード仕様と版下画像を突き合わせて項目ずつチェック。 実カードはスキャンして版下画像と比較。 53