AIエージェントのセキュリティリスクとは？企業が備えるべき5つの対策

AIエージェントの導入では、機密情報を入力しないというルールに加え、AIが参照するデータや実行する操作のセキュリティ対策が必要です。外部ツールや業務システムと連携するため、利用者が入力していない情報を取得したり、誤った判断で業務処理を進めたりするおそれがあります。

本記事では、AIエージェントに従来のセキュリティ対策だけでは不十分な理由と、注意すべき5つのリスク、企業が備えるべき対策を解説します。

AIエージェントのセキュリティリスクとは

AIエージェントのセキュリティリスクとは、AIが扱う情報や接続するシステムが、不正利用や意図しない動作によって被害を受ける可能性です。AIエージェントの管理対象には、機密情報や個人情報だけでなく、AIが実行する業務上の処理も含まれます。

外部ツールを使うAIの場合、誤った回答が表示されるだけでなく、データの更新や情報の送信にまで影響が及ぶことがあります。導入企業が検討すべきなのは、AIに読み取らせる情報と、実行を認める処理の範囲です。

そもそもAIエージェントとは何を指す？生成AIとの違い

AIエージェントは、与えられた目標に向けて手順を考え、必要に応じて外部ツールやシステムを使いながら処理を実行する仕組みです。

生成AIは、文章や画像などのコンテンツを生成する技術を指します。一方、AIエージェントは生成AIなどを活用し、目標達成に必要な手順の判断や処理の実行を担います。両者は対立するものではなく、生成AIがエージェントの構成要素になる関係です。

AIエージェントの運用において「従来のセキュリティ対策」だけでは不十分な理由

業務の自動化を急ぐなかで、活用方法の検討が先に進み、セキュリティの議論が後回しになる場合があります。しかし、導入時には従来のセキュリティ対策を土台に、AIエージェントの認証と動作の特性に合わせた検討が必要です。

ここでは、認証方法と実行中の動作という2つの観点から、従来のセキュリティ対策に加えて検討すべき点を整理します。

人の操作を前提とした認証をそのまま適用できないため

AIエージェントがシステムへ接続するときも、正規のアクセスであることを確かめる認証が必要です。ただし、スマートフォンに届いた通知を人が確認・承認する二要素認証のような方法を、そのまま自律的な処理に組み込めるわけではありません。

AIエージェントの認証には、人の確認操作を毎回必要としない方法の検討が必要です。選択肢には、業務操作を自動化するRPAや、システム同士をつなぐAPIで使われてきた、秘密鍵による認証技術の応用があります。

導入担当者は、接続先のシステムが対応する認証方式を確認し、認証のための確認操作を毎回人に求めず、正規のアクセスと判断できる仕組みを選びましょう。

AIエージェントのアクセス先や操作が処理中に変わるため

AIエージェントは、途中で取得した情報やツールの応答に応じて、次におこなう処理を変える場合があります。そのため、最初の指示に問題がなくても、実行中の行動まで安全だとは判断できません。

複数のツールやシステムを横断する場合は、エージェント単体の設定だけでなく、処理のつながりを捉える必要があります。誰の指示で、どのAIが、どのデータやツールを使い、何を実行したかを一連の流れとして把握することが重要です。

AIエージェントで注意すべき5つのセキュリティリスク

AIエージェントには、情報漏えいや不正な指示、誤操作などのセキュリティリスクがあります。外部からの攻撃による脅威だけでなく、AI自身の判断や動作に起因する問題にも注意が必要です。AIエージェントの導入時には、情報漏えいだけでなく、不正な指示、誤操作、管理の不備、連携先の問題を分けて確認しましょう。原因を整理することで、自社がどこに対策を設けるべきか判断しやすくなります。

ここでは、AIエージェントのセキュリティリスクを5つの点に分けて解説します。

セキュリティリスクその1：機密情報・個人情報が漏えいする

AIエージェントが扱う顧客情報や社内資料、人事評価・給与などの情報が、意図しない相手へ渡ることもセキュリティリスクの一つです。社外への流出に加え、社内で閲覧権限のない人に開示されるケースにも注意しましょう。

情報漏えいにつながる主な要因は、外部サービスへの情報送信、アクセス権の設定不備、機密情報を含む会話履歴やログの取り扱いです。クラウドとの連携そのものが漏えいを引き起こすわけではなく、何が送信・保存され、誰が見られる状態なのかが問題になります。

AIエージェントが接続先から情報を取得する構成では、利用者が直接入力していないデータも漏えいの対象です。入力禁止のルールだけで、扱う情報全体を管理できるとは限りません。

セキュリティリスクその2：不正な指示やデータの改ざんによって判断・処理がゆがむ

AIエージェントが取り込む情報に不正な指示が含まれていると、本来の目的から外れた処理へ誘導されるおそれがあります。こうした攻撃が「プロンプトインジェクション」です。利用者が直接入力する文章だけでなく、AIが読むWebページや文書、メールに紛れ込ませた指示も攻撃の経路になります。

また、指示ではなく、AIの判断材料となる情報を改ざんする攻撃にも注意が必要です。「データ汚染」と呼ばれ、学習用データに悪意ある情報を混ぜる場合と、参照文書や保存された会話履歴を書き換える場合があります。参照文書や履歴が汚染されると、モデル自体を変更しなくても、その情報を使う後の判断がゆがむおそれがあります。

これらの攻撃で問題になるのは、回答の誤りだけではありません。外部ツールと連携するAIでは、不正な情報送信やデータ操作につながる可能性もあります。

セキュリティリスクその3：AIの誤判断によって誤操作や処理の暴走が起こる

AIエージェントを扱う際、外部から攻撃されていなくても、AIが判断を誤り、業務の目的に合わないメール送信やデータの更新・削除をおこなう可能性があります。AIエージェントに必要以上に広い権限を与えていると、誤操作の影響が、本来アクセスする必要のないデータや業務にまで及びかねません。

また、自律的な処理が終わらず、外部サービスの呼び出しを繰り返すことも、想定される誤動作の一例です。

こうした誤動作は、費用や処理能力の過剰な消費につながります。そのため、AIに与える権限を必要な範囲に絞り、処理を実行・停止する条件をあらかじめ定めることが重要です。

セキュリティリスクその4：未承認のAIや管理されないエージェントが増える

社内の確認を経ずに使われるAIや、作成者・責任者が分からないエージェントが増えると、管理が行き届かなくなります。どの情報を扱い、どこへ接続しているか不明な状態では、問題の発見や原因の特定が難しくなります。

使わなくなったエージェントの放置も、不正利用につながりかねない管理上の問題です。管理が不十分なままでは、正規のエージェントの乗っ取りや、不正なエージェントの混入にも気づきにくくなります。

セキュリティリスクその5：外部サービスやツールの脆弱性が影響する

AIエージェントは、外部のモデルやAPI、ツールなどと組み合わせて動く仕組みです。そのため、連携先にセキュリティ上の弱点があったり、取り込むツールが不正に改ざんされていたりすると、それらを利用するAIエージェントにも影響が及ぶおそれがあります。

自社側の管理が適切でも、取り込む部品や連携先まで安全とは限りません。導入担当者は、AIエージェント本体の設定に加え、連携する外部サービスやツールの安全性も確認する必要があります。

企業が取り組むべきAIエージェントのセキュリティ対策

AIエージェントのセキュリティ対策では、管理体制の整備と、アクセス権・データ・実行する操作の管理、継続的な監視を組み合わせます。導入担当者は、対象業務に照らして、次の5つの対策を事業部門やサービス提供会社と確認しましょう。

セキュリティ対策その1：管理責任と利用ルールを明確にする

AIエージェントを安全に運用するには、管理責任や利用ルールを明確にし、組織としてガバナンスを整備することが重要です。

まず、導入担当者は社内で利用するAIエージェントについて、利用目的、作成者・管理責任者、接続するデータやツールを一覧にします。導入時の登録だけでなく、AIエージェントの設定変更や利用終了も管理の対象にしましょう。

次に、事業部門、IT・セキュリティ部門、サービス提供会社の担当範囲を整理します。外部サービスを利用していても、自社の設定や運用まで提供会社が担うとは限りません。自社が管理する部分と、提供会社に確認すべき部分を明らかにします。

社内で利用を認めるAIや、AIに取り扱わせてよい情報の範囲は、社内ルールにまとめます。従業員が自分の業務に当てはめて判断できるよう、担当業務と扱うデータに合わせて周知することが大切です。

セキュリティ対策その2：AIエージェントを認証し、アクセス権を絞る

システムの管理担当者は、AIエージェントごとに識別できるIDを付け、システムへのアクセス時に認証する仕組みを設けます。どのエージェントかに加え、誰の指示で動いているかを確認できることも重要です。

AIエージェントに与えるアクセス権は、利用目的に必要なデータと操作に絞ります。データを読むことと、更新することを区別し、業務に必要な操作だけを許可する考え方が基本です。

AIエージェントの利用目的や任せる業務が変わったら、管理担当者は権限を見直し、不要になった権限を取り消します。設定方法はサービスによって異なるため、利用する環境で、データと操作をどこまで分けて管理できるか確認してください。

セキュリティ対策その3：データを保護し、入力・出力を確認する

AIエージェントが扱う情報は、通信中と保存中の暗号化などによって保護します。業務データだけでなく、外部システムへの接続に使う認証情報も保護の対象です。

AIの学習や参照に使うデータについては、出所と内容の信頼性を確認します。情報を取り込めることと、その情報を判断の根拠として使えることを分けて点検しましょう。

AIに渡す入力内容から不正な命令などを検出する確認・フィルタリングと、AIの出力内容の検証も組み合わせます。ただし、これらだけで攻撃を完全に防げると考えず、権限管理や実行制限と併用することが必要です。

セキュリティ対策その4：重要な操作に人の承認と実行制限を設ける

AIエージェントによる外部への情報送信や重要なデータ変更など、業務への影響が大きい操作には、人が内容を確認し、実行前に承認する流れを設けます。どの操作に承認が必要かを、利用する業務に合わせて決めましょう。

AIへの指示文に禁止事項を書くことに加え、システム側でも許可されていない操作を止める仕組みを設けます。アクセス権で認められた範囲の操作でも、実行時には承認条件を満たしているか確認することが重要です。

AIエージェントが外部サービスを呼び出す回数や、その利用費用にも上限を設定します。実行内容と実行量の両方に制限を設けることがポイントです。

セキュリティ対策その5：検証・監視を続け、異常時の停止と復旧に備える

導入担当者は、運用開始前に、不正な入力を与えた場合などのAIエージェントの動作を検証し、見つかった問題を設定や運用の改善へ反映します。利用するツールや設定を変更した際も、再びテスト・評価する運用にしましょう。

運用中は、指示した人、動作したAIエージェント、利用したデータ・ツール、実行した操作を追える記録を残します。記録するだけでなく、想定外のアクセスや操作を検知できるよう、継続的に監視することが重要です。運用担当者は、AIエージェントに指示した人、動作したAIエージェント、利用したデータ・ツール、実行した操作を追える記録を残します。記録するだけでなく、想定外のアクセスや操作がないか監視することが必要です。

セキュリティインシデントが発生した際には、処理やAIエージェントを停止し、必要に応じて権限を取り消せるようにします。対応手順を文書にまとめ、担当者が実行できるか訓練で確認しましょう。異常が起きたときには、処理やエージェントを停止し、必要に応じて権限を取り消せるようにします。異常時の停止や権限取り消しの手順を文書にまとめ、運用担当者が実行できるか訓練で確認しましょう。

AIエージェントの停止後は、運用担当者が原因調査に必要な記録を保全し、影響を受けたデータや業務の復旧を進めます。再稼働の前には、人が修正内容と安全性を確認する段階を設けてください。

まとめ：AIエージェントのセキュリティ対策は、権限と行動の管理が重要

• AIエージェントには、情報漏えいに加え、不正な指示や誤判断によって業務システムを誤操作するリスクがある
• AIエージェントに与える権限を必要最小限に絞り、重要な操作には実行前に人が承認する仕組みを設ける
• 運用担当者がAIエージェントの動作を監視し、異常時に処理を停止・復旧できる体制を整える

AIエージェントのセキュリティ対策では、「機密情報を入力しない」という利用ルールだけでは不十分です。AIが連携先から取得する情報や、外部ツールを使って実行する処理も管理する必要があります。

導入担当者は、事業部門やサービス提供会社と協力し、AIに任せる業務の範囲と、自社が担うセキュリティ管理の範囲を明確にしましょう。

まずは導入予定の業務を1つ選び、AIに閲覧させる情報と、実行を許可する操作を一覧にしてください。