국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
AI 보안 확보를 위한 기술적 대책에 관한 가이드라인(안) 원문보기 1 원문보기 2
- 국가 일본
- 생성기관 총무성
- 주제분류 핵심R&D분야
- 원문발표일 2026-03-27
- 등록일 2026-04-06
- 권호 308
○ 총무성은 사이버보안 TF 산하 「AI 보안 분과회」 의 논의 결과를 반영하여 AI 개발자와 제공자가 기술 발전과 새로운 위협에 대응해 보안을 확보할 수 있도록 AI 보안 확보를 위한 기술적 대응 방안을 제시한 가이드라인을 발표
○ 본 가이드라인의 성격
- 총무성의 본 가이드라인은 기존 「AI 사업자 가이드라인」과 「AI 세이프티 평가 관점 가이드(AISI)」를 기반으로 AI 보안 확보(Security) 영역에 초점을 맞춰, 정보 유출·시스템 변경·서비스 중단 등 위협에 대응하기 위한 기술적 대응 방안을 제시한 보완적 지침
○ 대상 AI 및 상정 독자
- 사회적 활용이 확대되면서 보안 위협이 가시화되고 있는 대규모 언어모델(LLM) 및 이를 구성요소로 포함한 AI 시스템을 주요 대상으로 하며, 기술 발전 초기 단계에 있는 AI 에이전트는 대상에서 제외
- 주요 독자는 「AI 사업자 가이드라인」에서 정의한 AI 개발자 및 AI 제공자로 설정하고, 이들이 직면할 수 있는 보안 위협 대응에 활용할 수 있도록 구성
○ AI 개발자에 대한 대책
- AI 개발자는 안전 기준에 대한 추가 학습 등을 통해 LLM이 부적절하거나 의도하지 않은 지시에 따르지 않도록 대응 역량 강화 필요
- 시스템 프롬프트 등 우선순위가 높은 지시를 우선 처리하도록 학습함으로써 오작동 가능성을 낮추는 것이 중요
- 프롬프트 인젝션 등 고도화된 공격에 대비하여 용도별 위협 수준에 맞는 다층적 보안 대응 체계를 구축할 필요가 있으며, AISI 평가 도구 및 일본 국립정보학연구소(NII)의 AI 안전성·보안평가용 데이터셋 등 AI 안전성 평가 도구 활용도 권장
○ AI 제공자에 대한 대책
- AI 제공자가 시스템 프롬프트에 보안 관련 제약사항을 설정하고, API 키 등 민감 정보는 별도 관리하여 LLM의 의도하지 않은 출력 발생 방지 필요
- 입력 프롬프트와 외부 참조 데이터, 출력 결과에 대한 사전·사후 검증을 통해 프롬프트 인젝션 등 보안 위협을 차단하도록 권고
○ 본 가이드라인의 성격
- 총무성의 본 가이드라인은 기존 「AI 사업자 가이드라인」과 「AI 세이프티 평가 관점 가이드(AISI)」를 기반으로 AI 보안 확보(Security) 영역에 초점을 맞춰, 정보 유출·시스템 변경·서비스 중단 등 위협에 대응하기 위한 기술적 대응 방안을 제시한 보완적 지침
○ 대상 AI 및 상정 독자
- 사회적 활용이 확대되면서 보안 위협이 가시화되고 있는 대규모 언어모델(LLM) 및 이를 구성요소로 포함한 AI 시스템을 주요 대상으로 하며, 기술 발전 초기 단계에 있는 AI 에이전트는 대상에서 제외
- 주요 독자는 「AI 사업자 가이드라인」에서 정의한 AI 개발자 및 AI 제공자로 설정하고, 이들이 직면할 수 있는 보안 위협 대응에 활용할 수 있도록 구성
○ AI 개발자에 대한 대책
- AI 개발자는 안전 기준에 대한 추가 학습 등을 통해 LLM이 부적절하거나 의도하지 않은 지시에 따르지 않도록 대응 역량 강화 필요
- 시스템 프롬프트 등 우선순위가 높은 지시를 우선 처리하도록 학습함으로써 오작동 가능성을 낮추는 것이 중요
- 프롬프트 인젝션 등 고도화된 공격에 대비하여 용도별 위협 수준에 맞는 다층적 보안 대응 체계를 구축할 필요가 있으며, AISI 평가 도구 및 일본 국립정보학연구소(NII)의 AI 안전성·보안평가용 데이터셋 등 AI 안전성 평가 도구 활용도 권장
○ AI 제공자에 대한 대책
- AI 제공자가 시스템 프롬프트에 보안 관련 제약사항을 설정하고, API 키 등 민감 정보는 별도 관리하여 LLM의 의도하지 않은 출력 발생 방지 필요
- 입력 프롬프트와 외부 참조 데이터, 출력 결과에 대한 사전·사후 검증을 통해 프롬프트 인젝션 등 보안 위협을 차단하도록 권고
