국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
AI 시스템의 동작을 조작하는 사이버 공격 유형 제시 원문보기 1
- 국가 미국
- 생성기관 국립표준기술연구소
- 주제분류 핵심R&D분야
- 원문발표일 2024-01-04
- 등록일 2024-01-08
- 권호 255
○ 국립표준기술연구소(NIST)는 신뢰할 수 있는 AI 개발을 지원하고 NIST의 위험관리 프레임워크를 현실에 적용하는데 도움을 주기 위한 광범위한 노력의 일환으로 보고서*를 발표 * Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations(NIST.AI.100-2)
- 이 보고서는 AI 개발자와 사용자가 AI의 악의적 공격을 막을 수 있는 만병통치약은 없음을 인식하고, 예상할 수 있는 공격유형과 이를 완화시키기 위한 접근방식을 이해하도록 돕기 위한 것
○ AI 시스템은 현대사회에 스며들어 다양한 범위에서 작동하고 있음
- 이러한 작업을 수행하기 위해, 이들은 엄청난 양의 데이터를 다루는 훈련을 받음
- 한 가지 중요한 이슈는 데이터 그 자체가 신뢰할 수 없을지도 모른다는 점으로, 악의적인 행위자들이 이러한 데이터를 손상시킬 수 있는 많은 기회가 있고 이로인해 AI가 바람직하지 않은 방식으로 작동할 수 있음
○ 이 보고서는 크게 4가지 공격 유형(회피, 중독, 프라이버시, 오용)을 제시하며, 공격자의 목표와 목적, 역량, 지식 등 여러 기준에 따라 이를 분류하고 있음
- 회피(Evasion) 공격 : AI 시스템이 도입된 후 발생하며 시스템이 이에 대응하는 방식을 변화시키기 위해 입력을 수정하려고 함. 예를 들어 정지 표지판에 표시를 추가해서 자율주행자동차가 이를 속도제한 표지판으로 잘못 이해하거나 혼란스러운 차선표시를 만들어 차량을 길에서 벗어나게 하는 것
- 중독(Poisoning) 공격 : 손상된 데이터를 받아들여 훈련단계에서 발생함. 예를 들어 수 많은 부적절한 언어를 대화기록에 삽입하며, 챗봇이 이를 일반적인 용어로 해석하게 하는 것
- 프라이버시(Privacy) 공격 : 배포 중에 발생하며, AI나 AI를 잘못 사용하기 위해 훈련받은 데이터에 대한 민감정보를 학습하려는 시도임. 공격자는 챗봇에게 다수의 합법적인 질문을 한 후, 그 답변을 이용하여 리버스 엔지니어링하여 취약점을 찾아낼 수 있음
- 오용(Abuse) 공격 : 웹페이지나 온라인 문서와 같이 AI가 학습하는 소스에 부정확한 정보를 삽입하는 것으로, 중독(Poisoning) 공격과 달리 합법적이지만 손상된 소스로부터 부정확한 정보를 AI에게 제공하려고 함
- 이 보고서는 AI 개발자와 사용자가 AI의 악의적 공격을 막을 수 있는 만병통치약은 없음을 인식하고, 예상할 수 있는 공격유형과 이를 완화시키기 위한 접근방식을 이해하도록 돕기 위한 것
○ AI 시스템은 현대사회에 스며들어 다양한 범위에서 작동하고 있음
- 이러한 작업을 수행하기 위해, 이들은 엄청난 양의 데이터를 다루는 훈련을 받음
- 한 가지 중요한 이슈는 데이터 그 자체가 신뢰할 수 없을지도 모른다는 점으로, 악의적인 행위자들이 이러한 데이터를 손상시킬 수 있는 많은 기회가 있고 이로인해 AI가 바람직하지 않은 방식으로 작동할 수 있음
○ 이 보고서는 크게 4가지 공격 유형(회피, 중독, 프라이버시, 오용)을 제시하며, 공격자의 목표와 목적, 역량, 지식 등 여러 기준에 따라 이를 분류하고 있음
- 회피(Evasion) 공격 : AI 시스템이 도입된 후 발생하며 시스템이 이에 대응하는 방식을 변화시키기 위해 입력을 수정하려고 함. 예를 들어 정지 표지판에 표시를 추가해서 자율주행자동차가 이를 속도제한 표지판으로 잘못 이해하거나 혼란스러운 차선표시를 만들어 차량을 길에서 벗어나게 하는 것
- 중독(Poisoning) 공격 : 손상된 데이터를 받아들여 훈련단계에서 발생함. 예를 들어 수 많은 부적절한 언어를 대화기록에 삽입하며, 챗봇이 이를 일반적인 용어로 해석하게 하는 것
- 프라이버시(Privacy) 공격 : 배포 중에 발생하며, AI나 AI를 잘못 사용하기 위해 훈련받은 데이터에 대한 민감정보를 학습하려는 시도임. 공격자는 챗봇에게 다수의 합법적인 질문을 한 후, 그 답변을 이용하여 리버스 엔지니어링하여 취약점을 찾아낼 수 있음
- 오용(Abuse) 공격 : 웹페이지나 온라인 문서와 같이 AI가 학습하는 소스에 부정확한 정보를 삽입하는 것으로, 중독(Poisoning) 공격과 달리 합법적이지만 손상된 소스로부터 부정확한 정보를 AI에게 제공하려고 함
