2025年3月に発行した前レポート「AIエージェントが顧客になる日 ～自律型AIへの販売戦略を考える～」では、AIエージェントが自律的に経済活動を行い、「顧客」として市場に参加する可能性についてまとめた。
その後、AIエージェントを活用した新しいソリューションや、AIエージェントに支払い機能を備えるためのプロダクトも登場し、AIエージェントが利用者に代わって経済活動を担う世界は現実味を帯びつつある。
一方で、AIエージェントの安全性やリスクについては不透明である。AIエージェントは正しく扱っていても人間には予期せぬ「不安全（unsafe）」な挙動を示すことがある。例えば、コーディング支援エージェントが本番環境のデータベースを削除する事例や、ストレス環境に置かれた自律型AIエージェントがコンプライアンスに違反するなどの事例が報告されている。
こうした不安全な動作が及ぼすリスクは利用者にとって懸念であると同時に、AIエージェントを「顧客」として迎える事業者にとっても無視できない課題である。例えば、不安全なAIエージェントでは、利用者の意図と異なる商品の購入・返品が発生したり、多重予約や多重キャンセルなどが発生したりする可能性がある。
本レポートでは、このようなリスクを踏まえ、利用者と事業者側の双方に生じる課題を整理し、AIエージェントとの向き合い方を検討する。
▼目次
AIエージェントの安全性
- 勢いを増すAIエージェント市場
- 不安全な振る舞いをするAIエージェントの報告
- AI「利用者」にもリスクを把握した適正利用が求められる
- 生成AIとAIエージェントで異なる利用者リスク
- AI利用者と提供者の区分けが曖昧になるケース
- AIエージェントが抱える脅威
- 自律型AIエージェントの安全性を評価した研究
- 利用者側で取り得るシステム観点のリスク対策
不安全なAIエージェントからの防御策
- AIエージェントの顧客化の進展
- 不安全なAIエージェントが「顧客として」訪れる可能性
- 不安全なAIエージェントからの防御策
- 人間か、AIエージェントか区別できるか
- 人とボットとを区別する「身元証明」
今後の展望
- AIエージェントの顧客化：今後の展望・向き合い方
▼執筆者
先端技術ラボ 渡邊大喜
先端技術ラボ 大沼俊輔
先端技術ラボ 渡邊大喜
専門領域
先端技術リサーチ
学術論文
ブロックチェーンやAIエージェント、ゼロ知識証明など先端技術の応用研究や動向調査に従事。調査レポートの執筆や専門誌への寄稿の他、長年の企業での応用研究の経験を元に、ビジネス活用を見据えた独自技術の創出にも注力。
ゼロ知識証明の現在地 ～ブロックチェーンを超えた活用可能性～
Hiroki Watanabe and Motonobu Uchikoshi. Generating Privacy-Preserving Personalized Advice with Zero-Knowledge Proofs and LLMs. In Companion Proceedings of the ACM on Web Conference 2025 (WWW '25), pp. 1385—1389, April 2025.
先端技術ラボ 大沼俊輔
専門領域
先端技術リサーチ
国内学会・研究会発表
自然言語処理やマルチモーダルAIの調査・技術検証を中心に活動。社内において生成AIの利用を促進する業務にも従事。
大沼 俊輔. LLMを利用したエージェントのユーザフィードバックによる金融分野への適用検討. 人工知能学会全国大会 (第39回), 2025.
■ 本件に関する取材依頼等のご相談に関しましては、こちらのフォームよりご連絡ください。
ご連絡の際に、本件のタイトルを件名、または問い合わせ内容にご記載いただきますと、ご案内がスムーズです。