AI リリースチェック
チェック観点とサンプルレポート(配布資料)
本サービスは、リリース前に確認すべきリスクと改善点を整理し、関係者が判断しやすい状態づくりを支援します。
確認は、提供いただいた情報・資料・環境の範囲内で行います。AI・自動ツールの検出結果はリスク候補として扱い、人間レビュアーが確認のうえ、説明しやすい判断材料として整理します。
チェック観点(10カテゴリ・約50観点)
確認の出発点となる観点です。
SCP
利用目的・対象範囲
- ・利用目的(何に使うか)の明文化
- ・展開先(社内・顧客納品・外部公開)の特定
- ・AI自動範囲と人間確認範囲の境界
- ・禁止用途・対象外業務の明記
- ・想定利用者区分と権限要件の整理
DAT
データ・個人情報・機密情報
- ・個人情報・機密情報の棚卸し
- ・外部LLM/APIへの送信範囲と顧客合意
- ・保存先・保存期間・削除方針
- ・ログへの機密情報の平文混入
- ・外部AIの学習・二次利用とオプトアウト
SEC
シークレット・依存・サプライチェーン
- ・シークレット(APIキー等)の露出
- ・.env・設定ファイルの管理手段
- ・依存ライブラリの既知脆弱性
- ・出所不明・なりすまし依存
- ・CI/CD・デプロイ設定のシークレット
ACC
認証・認可・権限
- ・認証の必須化と方式の妥当性
- ・ロール・最小権限設計(越境防止)
- ・退職者・契約終了者のアカウント失効
- ・管理者・特権ロールの最小化
- ・RAG・検索結果の権限フィルタ
LLM
プロンプト・誤回答・出力制御
- ・出力テキストの人間確認フロー
- ・無確認直送経路の有無・限定
- ・ハルシネーション緩和策
- ・システムプロンプト・秘匿設定の露出対策
- ・プロンプトインジェクション耐性
RAG
ナレッジ検索・参照範囲
- ・インデックス対象の限定
- ・インデックス鮮度・失効管理
- ・顧客・部署・テナント分離
- ・参照元(出典)の提示
- ・ベクトルDB・ストレージの保護
ACT
外部アクション・API連携
- ・実行可能操作のホワイトリスト化
- ・連携クレデンシャルの最小権限
- ・不可逆・対外操作前の人間承認
- ・誤実行時の取り消し・復旧手段
- ・自動実行の上限・緊急停止
OPS
ログ・監視・運用
- ・利用ログ(誰が・いつ・何を)
- ・重要操作の変更記録
- ・エラーログの原因情報と機密非混入
- ・重大事象・コスト急増のアラート
- ・インシデント対応手順
CST
コスト・利用量・レート制限
- ・利用量・予算上限と到達時の挙動
- ・レート制限・リトライ暴走防止
- ・急増(スパイク)検知
- ・課金アラート(しきい値通知)
- ・高コスト処理の洗い出しと概算
GOV
利用ルール・責任分界・引き継ぎ
- ・利用ルールの文書化・周知
- ・禁止事項と違反時の対応
- ・利用者の問い合わせ窓口
- ・リリース後の保守・一次対応者
- ・運用継続できる文書化(引き継ぎ)
サンプルレポート(架空ケース)
AIリリースチェック レビューレポート
対象: 受託開発した顧客向けAIチャットボット(RAG+外部LLM API)を顧客へ納品する前提
扱うデータ: 顧客向けに参照する自社データ・過去の問い合わせ履歴(顧客名・契約情報を含み得る)
所見サマリ(リスク重大度・改善優先度の目安)
4
HIGH
5
MEDIUM
2
LOW
1
情報不足
各スコアは「影響度(1-5)×発生可能性(1-5)」による個別リスクの深刻度の目安です。対象ツールの合格点・品質点・リリース可否の判定ではありません。
外部LLM APIへの未分類データ送信RAGの顧客・テナント境界の分離不足ログへの機密情報の平文出力AI出力の人間確認・差し戻しフロー不足
リスク登録簿(全12件)
| ID | 所見 | 深刻度 | スコア | 関連ARC | 優先 |
|---|---|---|---|---|---|
| RISK-001 | [情報漏えい] 外部LLM APIへ送信されるデータ範囲が未特定で、顧客・契約情報が外部送信され得る | High | 20 (5×4) | DAT-001 / DAT-002 | P0 |
| RISK-002 | [情報漏えい/権限過剰] 顧客・テナント別データが境界分離不足・権限フィルタ未適用で、別顧客の情報が回答に混在し得る | High | 25 (5×5) | RAG-003 / ACC-005 | P0 |
| RISK-003 | [情報漏えい] アプリ・AI・エラーログに顧客情報やAPIキーが平文で出力され得る | High | 20 (5×4) | DAT-004 / SEC-001 | P0 |
| RISK-004 | [AI/LLM固有] AI出力の人間確認・差し戻しフローと利用ルールが未整備で、AI回答がそのまま顧客対応に転用され得る | High | 16 (4×4) | LLM-001 / SCP-003 / GOV-001 | P0 |
| RISK-005 | [AI/LLM固有] インデックスの鮮度管理がなく、古い版・廃止済みの資料が回答に残る | Medium | 12 (3×4) | RAG-002 | P1 |
| RISK-006 | [情報漏えい/設定ミス] インデックス対象範囲が未明文化で、テスト用データ・対象外データの混入有無が確認できない | 情報不足 | 12 (4×3) | RAG-001 | 追加確認 |
| RISK-007 | [AI/LLM固有] RAG回答に参照元(出典)が提示されず、利用者が根拠を確認できない | Medium | 12 (3×4) | RAG-004 | P1 |
| RISK-008 | [AI/LLM固有] 事実性が重要な用途で、ハルシネーション緩和策(回答範囲制限・保留応答・注意書き)が一部のみ | Medium | 12 (4×3) | LLM-003 | P1 |
| RISK-009 | [可用性] 異常な利用量・コスト急増・漏えい兆候を検知し通知する仕組みが未整備 | Medium | 12 (4×3) | OPS-004 / CST-003 / CST-004 | P1 |
| RISK-010 | [可用性] 外部LLM API・ベクトルDB等に利用量/予算の上限と到達時の挙動が未設定 | Medium | 9 (3×3) | CST-001 | P1 |
| RISK-011 | [可用性] リリース後の保守担当・障害時一次対応者と運用手順が未整備 | Low | 4 (2×2) | GOV-004 / GOV-005 | P2 |
| RISK-012 | [AI/LLM固有] 高コスト処理(全件再インデックス・大量バッチ等)の概算コストと要因が未整理 | Low | 4 (2×2) | CST-005 | P2 |
スコア = 影響度 × 発生可能性(各1〜5)。目安: High 15〜25 / Medium 6〜14 / Low 1〜5。
改善バックログ(優先度別)
P0(最優先)
- ・RISK-001 送信データの分類・マスキングと事業者確認
- ・RISK-002 顧客/テナント分離+サーバ側強制フィルタ
- ・RISK-003 ログのマスキングとシークレット検出/鍵ローテーション
- ・RISK-004 AI出力の確認・差し戻しフローと利用ルール整備(顧客対応拡大前に)
P1(次点)
- ・RISK-005 インデックス鮮度・削除管理
- ・RISK-007 出典提示
- ・RISK-008 ハルシネーション緩和
- ・RISK-009 異常検知・課金アラート
- ・RISK-010 利用量/予算上限と到達時挙動
追加確認
- ・RISK-006 インデックス対象範囲の確認(個人フォルダ/テスト資料の混入有無)
P2
- ・RISK-011 保守/一次対応者と運用手順
- ・RISK-012 高コスト処理の概算
確認観点の充足状況
| データ取扱い・外部送信・ログ | 要対応 | RISK-001, 003 |
| RAG 参照範囲・境界分離・鮮度・出典 | 要対応 | RISK-002, 005, 007 |
| RAG 対象スコープの確認 | 情報不足 | RISK-006 |
| AI出力の利用・ハルシネーション対策 | 要対応 | RISK-004, 008 |
| 監視・予算・コスト | 要対応 | RISK-009, 010, 012 |
| 運用責任・手順 | 要対応 | RISK-011 |
レポートに含まれる内容
確認範囲と前提条件
リスクの分類・深刻度(影響度×発生可能性)・確認優先度の整理
改善の方向性/追加確認が必要な事項
社内説明・顧客説明に使いやすい所見サマリ
依頼者の意思決定に向けた判断材料
本サンプルは架空ケースに基づく成果物イメージです。各スコアは個別リスクの深刻度の目安であり、改善優先度をそろえるために使います。改善バックログ・再チェック(1回)は Plus に含みます(改善実装そのものは含みません)。最終的なリリース判断はお客様が行えるよう、必要な判断材料を整えてお渡しします。