20260220_暗黙知を活用するskillsを作ってみた

TORANOANA Lab 暗黙知を活用するskillsを作ってみた 虎の穴ラボ 平山 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

自己紹介 名前 ：平山 仁正 担当業務 ：通販全般→Fantia 趣味 ：アニメ、アクアリウム、栽培 今季アニメ：ゴールデンカムイ、 好きな配信者：赤見かるび、天鬼ぷるる、けんき、ゆゆうた Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

前提 対象のプロジェクト ● ● ● ● Railsのプロジェクト Githubでプルリクレビューを行う Claude Codeをメインに使用する Codexも使用できる Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

問題 LLMがプロジェクト固有の方針を理解していない ● ● LLM(Claude Code、Codexなど)は一般的なものを基準としている a. このプロジェクトではドメインを使っているがサービスを作りたがる b. rubocop:disable(lint部分無効)を使いたがる c. erbベースなのに、reactで全部フロントを作ろうとする 初めに一応調査するが、プロジェクトの慣習を把握するほどは調査しない Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

一般的な対策 CLAUDE.md ● ● Claude Codeのセッション開始時に毎度呼び込まれる 多いと使えるコンテキスト長が少なくなるので短い方が良いとされる RAG ● ● 大量ドキュメント向け DBでベクトル類似度を検索している関係でベクトルDB必要 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

選んだのは Serenaメモリ ● ● CLAUDE.mdが多すぎると使えるコンテキストが少なくなり速度低下 a. 必要な時だけアクセスして読み込むのコンテキストウィンドウが節約できる RAGはDB設置コストがかかるので使う a. mdベースなので DBなどは必要ない b. 人間で確認やgitで共有できる Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

• http://claude.md

プルリク指摘対応skillsを作成 プルリクの指摘コメント確認 ● gitのプルリクの指摘コメントの確認を行う Serenaメモリでの記録を確認 &妥当性検証 (他エージェント 5も同時呼び出し ) ● ● 過去のプルリク指摘コメントの事例の検索する。 指摘箇所のチェックを行う 修正提案 &Serenaメモリに追記 ● seranaメモリに存在しない視点は記録し指摘を出しにくくする。 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

プルリク指摘対応skillsを作成 集約は修正の重要度でスコアリングして集計エージェントが判断しやすくする ❌は見当違いの指摘と集約エージェントが判断している Phase 3: 結果集約・スコアリング 各コメントの結果を統合します。 エージェント名 C1: 責務 C2: サイズ C3: 共通化 C4: 命名 C5: i18n technical-validity ✅ 85 ❌ 90 ✅ 75 ✅ 70 ✅ 95 guidelines-alignm ent ⚠ 60 ⚠ 50 ✅ 75 ⚠ 50 ✅ 95 codex ❌ 66 ✅ 62 ✅ 58 ✅ 60 ✅ 78 best-practices ✅ 85 ✅ 95 ✅ 80 ✅ 70 ✅ 98 memory-context ✅ 95 ❌ 90 ✅ 85 ✅ 80 ✅ 100 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

Serenaメモリで計画skillsを作成 既存コード確認 ● 入力された要件での既存コードの確認 Serenaメモリを読み込み指摘の再現を防止 (他エージェント 5も同時呼び出し ) ● ● 要件と既存コードを元に指摘を再度もらうようがないように緩和策案を提案 他フロントエンド用、バックエンド用などのエージェントも並列で動かす。 検証、計画出力 ● ● 他のエージェントの提案をまとめて、ガイドライン検証用エージェントのチェックを受ける その後、最終計画案出力 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

効果 ● 過去指摘があったものは再度指摘が少なくなった。 a. 0にはならない ● serenaメモリー活用計画 skillsで効率化した。 a. 計画段階で修正できるため ● 各サブエージェントは sonnetでも問題なし a. b. 基本的にパターンマッチ、調査作業なので 集計や実装などの主要部分は Opus Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

まとめ ・指摘の数が少なくなっていて、一定の効果が上がった（と思う） ・エージェントを複数並列で立ち上げるので爆速で claude codeのtoken に達する。 ・サブエージェントではなく Agent Teamsベースの skillsのほうが性能が 上 がる可能性がある。 (資料作っている間に追加された ) ・使えるコンテキストウインドウが大きければ CLAUDE.mdに書いてしまう という解決策もある。 ・将来的に serenaメモリを利用する CIの構築なども考えられる Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

ありがとうございました Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.