前回の承認境界から、品質と安全の確認へ
前回のT-08では、AIエージェントが自律的に動く仕組みと、その手綱となる承認境界を学びました。承認境界は、危険な操作の手前で人間の判断を挟む設計でした。今回は視点を品質と安全へ移し、作ったAI機能が本当に正しく、安全に動くかを確かめる方法を扱います。これはP章で学んだテストの考え方を、毎回揺れるAIの出力に合わせて作り直す作業でもあります。
このスライドのポイント
- 前回T-08: AIエージェントの4要素と、危険な操作の手前で人間の判断を挟む承認境界
- 今回の役割: 作ったAI機能が本当に正しく安全に動くかを確かめる方法
- P章のテストの考え方を、揺れるAIの出力に合わせて作り直す
AI評価・ガードレール・プロンプトインジェクションの定義
三つの用語を定義します。AI評価とは、AI機能の品質を確かめる活動のことです。ガードレールとは、出力を世に出す前に、禁止した内容や決めた形式から外れたものを機械的に弾く、最終検査の層です。プロンプトインジェクションとは、T-03で見た指示レイヤーの構造を悪用し、利用者の入力によってシステム指示を無視させようとする攻撃で、本講義では防御の観点だけを扱います。検査する観点は、正確性、再現性、禁止出力、インジェクション耐性、データ漏えいの五つです。
このスライドのポイント
- AI評価＝AI機能の品質を確かめる活動
- ガードレール＝出力を世に出す前に、禁止内容や決めた形式から外れたものを機械的に弾く最終検査層
- プロンプトインジェクション＝指示レイヤー（T-03）を悪用し、システム指示を無視させようとする攻撃（本講義は防御の観点のみ）
- 検査5観点: 正確性／再現性／禁止出力／インジェクション耐性／データ漏えい
なぜ確かめる観点が要るのか
この観点を知らないと、デモで一度うまく動いたことを、品質だと誤解してしまいます。P-01で見た再演の落とし穴は、AI機能ではさらに危険です。出力が毎回揺れるため、たまたま成功した一回を実力と取り違えやすいからです。また、利用者の入力そのものが攻撃の入り口になりうる点も、AI機能で新しく生まれる面です。確かめる観点を持たなければ、この新しい危険に気づけません。
このスライドのポイント
- デモで一度動いたことを品質だと誤認する（P-01の再演の落とし穴のAI版）
- 出力が毎回揺れる（A-05）ため、たまたま成功した1回を実力と取り違えやすい
- 利用者の入力そのものが攻撃の入り口になりうる、というAI機能で新しく生まれる面
AI機能の多層防御
AI機能の安全は、一枚の壁ではなく、多層で守ります。入力の段階では、システム指示と利用者の入力を分離し、Q-06のとおり入力を信用せず検証します。処理の段階では、T-05で見たツールの権限を最小限に保ちます。出力の段階では、T-04のスキーマで形式を縛り、ガードレールで内容を弾きます。そして評価の段階で、五つの観点を定期的に測ります。これはQ章の多層防御を、AI機能向けにまとめ直したものです。
このスライドのポイント
- 入力: システム指示と利用者入力を分離（T-03）＋入力を信用せず検証（Q-06）
- 処理: ツールの権限を最小限に保つ（T-05）
- 出力: スキーマで形式を縛り（T-04）、ガードレールで内容を弾く
- 評価: 5観点を定期的に測る
- Q章の多層防御を、AI機能向けにまとめ直したもの
勘定科目提案の評価セットで確かめる
共通例の、勘定科目を提案するAI機能で考えます。代表的な但し書きを五十件そろえ、それぞれに正解の科目を用意した評価セットを作ります。これを月次で自動採点すれば、正しく提案できた割合の推移を、S-03で学んだメトリクスとして観測できます。システム指示を無視させようとする入力に屈しないか、というインジェクションへの耐性の検査も、この定例に含めます。一度きりでなく、繰り返し測ることが要点です。
このスライドのポイント
- 共通例: 領収書の但し書きから勘定科目を提案するAI機能
- 代表的な但し書き50件＋正解の科目を組にした評価セットを作る
- 月次で自動採点し、正しく提案できた割合の推移をメトリクス（S-03）として観測
- システム指示を無視させようとする入力に屈しないか、というインジェクション耐性の検査も定例に含める
技術サンプルカード: 5観点×検査方法×頻度
技術サンプルとして、五つの観点の検査方法と頻度を表にまとめました。読み方の要点は二つあります。一つ目は、AI評価は一度で終わりではなく、継続する活動だということです。提供事業者のモデルは更新されることがあり、B-10で見たバージョンの問題が、AIでも起きるためです。二つ目は、それぞれの観点に対応する検査の証拠を残すことです。AIへは、代表例と境界例、そして防御を確かめる例を含む評価セットの作成を依頼できます。
P章のテストと、AI評価の違い
混同しやすいのが、P章のテストとAI評価の違いです。P章のテストは決定的で、同じ入力には必ず同じ結果が返ることを前提に、一致するかどうかで合否を決めます。一方でAI評価は確率的です。A-05で見たとおり出力が毎回揺れるため、多数の代表例で傾向を測り、基準以上の割合を満たすかどうかで判断します。合格の定義が、全件一致から、基準以上の率へと変わる点が、決定的な違いです。
バイブコーディングでの確認点
公開前の確認点は、五つの観点それぞれについて、検査した証拠があるかを問うことです。特にデータ漏えいには注意が要ります。コンテキストを経由して、他人の情報が別の利用者の回答に混ざらないかを、Q-05の権限設計とセットで確認します。AIへの質問例としては、この機能の評価セットを作り、代表例や境界例に加えて、防御を確かめる例も含めてほしいと依頼するとよいでしょう。
このスライドのポイント
- 公開前に、5観点それぞれ「検査した証拠はあるか」を問う
- 特にデータ漏えい: コンテキスト経由で他人の情報が別の利用者の回答に混ざらないかを、権限設計（Q-05）とセットで確認
- 低リスクに見えても、揺れる分だけAI機能は繰り返し測る
一問一答とまとめ
最後に一問一答です。利用者の入力によって、システム指示を上書きさせようとする攻撃を、何と呼ぶでしょうか。（間）答えは、プロンプトインジェクションです。三十秒のまとめです。AI機能の品質は、決定的なテストではなく、傾向を測るAI評価で確かめます。五つの観点を多層の防御と定期的な評価で守り、証拠を残すことが公開の条件です。次回はいよいよ最終講義、すべての講義を一枚の処理フロー図に統合します。関連資料は、AIアプリの品質評価シート、失敗するAIアプリ50、AIアプリのセキュリティ超入門です。
このスライドのポイント
- 一問一答: 利用者の入力でシステム指示を上書きさせようとする攻撃は？ → プロンプトインジェクション
- 30秒まとめ: AI機能の品質は決定的なテストでなく、傾向を測るAI評価で確かめる。5観点を多層防御と定期評価で守り、証拠を残す
- 次回T-10: 全200講義を1枚の処理フロー図に統合する
- 関連資料: AIアプリの品質評価シート／失敗するAIアプリ50／AIアプリのセキュリティ超入門
