プロンプトインジェクションは、AIが読んだ文章などに含まれる指示によって、本来の用途と異なる回答や操作へ誘導される問題です。 問い合わせ返信AIなら外部から届くメール、社内検索AIなら取り込んだ資料も入口になります。開発者が書く注意書きに加え、AIが取得できる情報と実行できる操作を制限します。

調査時点: 2026年11月。OWASP Top 10 for LLM Applicationsの2025版を参照します。以下の業務例は仕組みを説明する仮定であり、wrenや顧客で実際に発生した事故を表すものではありません。

直接型と間接型は、指示の入口が違う

型入り口業務上の確認点
直接型利用者がAIに直接渡す文章入力者が閲覧・実行してよい範囲をアプリ側で検証する
間接型メール、Webページ、添付ファイル、検索結果読む対象に混ざった指示を業務の許可として扱わない

たとえば、お客様からの質問を要約する処理で、そのメールに別の操作を求める文が混じっているとします。AIがそれを担当者からの指示と混同すれば、要約に不要な文章を加えたり、連携ツールを呼び出したりする可能性があります。元の文章を読む人が攻撃に気づいていても、同じ入力を処理するAIが同じ判断をするとは限りません。

OWASPのLLM01:2025は、直接・間接の入力を区別し、機密の開示、内容の改変、利用可能な機能への不正なアクセスなどを影響として挙げています。RAG(検索した資料をAIに渡して答えさせる方式)を使ったことだけで解消する問題でもありません。

OWASPがプロンプトインジェクションをLLM01:2025として分類している公式画像
OWASPの2025版ではPrompt InjectionをLLM01に分類しています。この番号は自社の発生確率や被害額を示すものではありません。出典: OWASP GenAI Security Project / CC BY-SA 4.0。原画像の内容変更なし。押すと拡大できます。

問い合わせ返信・社内検索で想定する影響

返信に他の顧客の情報が混ざる

問い合わせの回答に必要な注文情報を調べる際、AIに全顧客の検索権限を与えていると、別の顧客の情報へアクセスする余地ができます。顧客IDや担当範囲の照合は、AIの判断に任せず検索API側で適用します。検索結果に情報を返してから「秘密なので出さない」と指示するより、取得時点で範囲を絞る設計です。

要約に偽の決定事項が混ざる

AIが議事録やメールを要約するとき、外部文書の指示を採用して、承認されていない内容を決定事項として書く場合を想定します。回答に原文の位置を添え、決定事項と提案を分けることは確認の助けになります。ただし出典が付いていても、その出典の内容自体が信頼できるかは別に確認します。

下書き用のAIが送信まで実行する

返信の作成と送信を同じ権限で扱うと、外部の文章が操作へ影響した場合の被害が広がります。下書きを作る処理には送信機能を渡さず、送信は宛先・本文・添付を確定した後の別処理にします。チャットとの違いはAIエージェントの役割でも整理しています。

入力・検索・操作・出力を別々に制限する

外部入力を区別

メール本文や添付は参照データとして扱い、管理者の設定や承認と同じ経路に載せない

検索範囲を固定

利用者・顧客・案件の権限を検索側で照合し、回答に不要な情報を渡さない

操作を限定

下書き処理には送信・削除権限を渡さず、承認対象の宛先・内容を確定する

出力と記録を確認

送信前の検査、実行記録、異常時の停止手順を用意する

ここからは、これらの考え方を問い合わせ業務へ適用する設計例です。特定の製品に標準搭載されている機能を保証するものではありません。

最小権限は「すべて読み取り専用なら十分」という意味ではありません。読み取りだけでも機密情報を取得し、回答へ混ぜることは起こり得ます。業務ごとに対象データを絞り、外部に出る文章に顧客情報が含まれていないかを確認します。ツール名を隠すだけで、権限の制限を代用しないようにします。

承認画面では「実行してよいか」だけを尋ねず、宛先、対象ファイル、変更内容を見せます。承認した後にAIが本文や宛先を変更できると、確認した操作と実際の操作が一致しません。送信対象の確定と実行を結び付け、変更があれば再確認する設計にします。

出力検査では、個人情報の形式、許可した宛先、必要な項目の有無など、コードで判定できる条件を先に確認します。別のAIに検査を任せる場合も、その判定だけに依存せず、権限や送信制限と併用します。入力の言い換えや画像などで検査をすり抜ける可能性も考慮します。

テストは、成功した回答と止めるべき操作を分ける

通常の質問に正しく答える試験に加え、許可していない情報の取得や送信を試みた場合に、アプリ側で拒否できるかを確認します。実在の顧客情報は使わず、架空の顧客・案件を分けたテスト用データで検証します。

確認すること期待する状態
担当外の顧客データを要求する検索APIが権限外として拒否する
外部文書が送信を求める下書き用処理には送信機能がない
承認後に宛先や本文を変更する承認済みの内容と不一致なら実行しない
同じ入力を繰り返す一度通った結果だけで判断せず、操作ログも確認する
異常なツール実行が増える処理を停止し、権限や接続を失効できる

これらは検収項目の例で、合格してもすべての攻撃を防ぐ保証にはなりません。利用するモデル、検索対象、ツールを変更した場合は、その変更が影響する試験を再実施します。ログには調査に必要な時刻・呼び出した機能・承認結果を記録し、機密の本文を無制限に保存しない運用も決めます。

wrenのデータ取り扱いと、開発時に確認する範囲

wrenではClaude・Gemini・ChatGPTの学習設定をオフにし、顧客情報をマスクして個人情報を入力しない運用です。ゼンナゲCSでは権限管理、MFA、監査ログを導入しています(2026年11月16日、代表確認)。学習設定やマスクはデータの取り扱いに関する対策であり、プロンプトインジェクションの防止を保証する説明には使いません。

個別のAIシステムでは、入力経路、検索対象、実行機能を確認して対策を決めます。AI導入支援の相談では、AIに読ませたい資料と実行させたい作業を整理し、相談フォームから共有できます。問い合わせ業務の運用範囲はゼンナゲCSで案内しています。

社内で利用者に伝えるルールは、生成AIの社内ルールと合わせて整理します。