국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
AI 에이전트가 고객이 되는 시대: 안전성 검토 원문보기 1
- 국가 일본
- 생성기관 일본종합연구소(JRI)
- 주제분류 핵심R&D분야
- 원문발표일 2025-10-10
- 등록일 2025-10-10
- 권호 297
○ 일본종합연구소는 AI 에이전트가 사용자를 대신해 자율적으로 경제 활동을 수행하고 시장에 참여할 가능성이 높아지고 있는 가운데, 현 단계에서 그 안전성과 리스크가 여전히 불투명하다는 점에 주목하고, 이에 따라 사용자와 사업자 측면에서의 주요 과제를 정리하고, AI 에이전트에 대한 대응 방안을 검토한 보고서를 발표
- 앞으로도 소프트웨어 개발의 효율화·품질 향상, 웹 브라우징 에이전트, 백엔드 업무 자동화, 규제 대응형 산업 특화 등 다양한 AI 에이전트 제품이 시장에 등장할 가능성이 있음
- 그러나 다음과 같이 현재 시점에서 AI 사용자가 충분히 리스크를 파악할 수 있는 환경은 갖춰져 있지 않음
・AI 에이전트를 대상으로 한 가이드라인은 제한적
・AI 에이전트는 「AI 사용자와 AI 제공자간 역할이 불명확해질 수 있어(제공자는 적절한 보안 지식 필요) 생성형 AI에 비해 사용자가 더 넓은 범위에서 리스크 파악 필요
・AI 에이전트의 보안 위협은 기존 방식과 달리 새로운 유형이 많아 기존 보안 검사로는 탐지 곤란
・정당한 사용(악의 없는 프롬프트)에서도 안전하지 않은 동작을 보일 가능성 있음
- 사용자는 AI 제공자의 시스템이 어떠한 안전 조치를 취하고 있는지 확인하고, 사용하는 툴 및 접근하는 외부 시스템에 어떤 영향을 미칠 수 있는지 사전에 인지 필요
- 대기업 및 구글에서 에이전트용 결제 툴 및 프로토콜이 잇따라 발표되고 있으나, 안전하지 않은 AI 에이전트는 방문하는 사업자에게도 리스크가 있음(AI 에이전트 사용자의 의도와 다른 상품 구매, 중복 예약 및 중복 취소 등)
- 안전하지 않은 AI 에이전트로부터의 리스크 대응 방안으로서 △인증·로그인 작업, 고위험 작업시 인간의 승인이 들어가도록 보안 강화 △인간과 AI 에이전트를 구별하는 로봇 탐지 솔루션 활용 △ Web Bot Auth 등의 시스템을 통해 AI 에이전트도 신원 확인 가능
- 앞으로도 소프트웨어 개발의 효율화·품질 향상, 웹 브라우징 에이전트, 백엔드 업무 자동화, 규제 대응형 산업 특화 등 다양한 AI 에이전트 제품이 시장에 등장할 가능성이 있음
- 그러나 다음과 같이 현재 시점에서 AI 사용자가 충분히 리스크를 파악할 수 있는 환경은 갖춰져 있지 않음
・AI 에이전트를 대상으로 한 가이드라인은 제한적
・AI 에이전트는 「AI 사용자와 AI 제공자간 역할이 불명확해질 수 있어(제공자는 적절한 보안 지식 필요) 생성형 AI에 비해 사용자가 더 넓은 범위에서 리스크 파악 필요
・AI 에이전트의 보안 위협은 기존 방식과 달리 새로운 유형이 많아 기존 보안 검사로는 탐지 곤란
・정당한 사용(악의 없는 프롬프트)에서도 안전하지 않은 동작을 보일 가능성 있음
- 사용자는 AI 제공자의 시스템이 어떠한 안전 조치를 취하고 있는지 확인하고, 사용하는 툴 및 접근하는 외부 시스템에 어떤 영향을 미칠 수 있는지 사전에 인지 필요
- 대기업 및 구글에서 에이전트용 결제 툴 및 프로토콜이 잇따라 발표되고 있으나, 안전하지 않은 AI 에이전트는 방문하는 사업자에게도 리스크가 있음(AI 에이전트 사용자의 의도와 다른 상품 구매, 중복 예약 및 중복 취소 등)
- 안전하지 않은 AI 에이전트로부터의 리스크 대응 방안으로서 △인증·로그인 작업, 고위험 작업시 인간의 승인이 들어가도록 보안 강화 △인간과 AI 에이전트를 구별하는 로봇 탐지 솔루션 활용 △ Web Bot Auth 등의 시스템을 통해 AI 에이전트도 신원 확인 가능
