□ 조지타운대학 안보유망기술센터(CSET)는 인공지능 시스템의 적대적 머신러닝* 및 사이버 보안 취약성 및 향후 개선을 위한 권장사항을 제시한 보고서 발표**(’23.4.)

* 인공지능 시스템 공격자가 일부 데이터를 조작하여 인공지능 모델이 잘못된 결론 내리도록 만드는 기술

** Adversarial Machine Learning and Cybersecurity:Risks, Challenges, and Legal Implications

ㅇ 인공지능, 특히 머신러닝이 상업 및 정책적인 부분에 빠르게 도입됨에 따라 기술의 오류 발생, 개인정보 유출, 성능 저하 등 취약성 문제도 동시 수반

- 인공지능의 취약성은 전통적인 사이버 보안 취약성 해결방안으로는 대응이 어려울 수 있으며, 기업과 정부 간 책임 주체의 모호성 발생 가능

ㅇ 보고서는 ’22년 7월, 안보유망기술센터와 스탠포드 사이버정책센터가 AI 취약성 등에 대하여 논의한 워크숍 결과를 바탕으로 4가지 권장 사항을 제시

(1) AI 취약성에 대한 기존 사이버 보안의 확장

- AI는 기존 소프트웨어 취약성(운영체제, 워크스테이션 어플리케이션, 서버, 모바일 앱 등의 취약성)과 구별되는 취약성을 가지고 있음

- 이러한 특징으로 인하여, 기존의 사이버 보안 리스크 관리 프레임을 적용하기 위해서는 일부 내용의 확장･조정이 필요

(2) 정보 공유 및 조직의 보안 마인드 개선

- AI 시스템은 구조적 특징*으로 인해 시스템에 대한 공격 위협이 얼마나 큰지 정확하게 평가하는데 어려움이 있으므로, AI 취약성이 관찰될 경우 다른 조직, 최종 사용자, 정부 등에 정보를 공유하고 투명성을 제고하는 등의 개선 필요

* ① AI 취약성에 대한 대부분의 정보는 이론적･학술적 연구환경, 사이버 보안 회사 또는 조직 내부의 보안테스트를 통해 얻어짐, ② AI 자산(데이터셋, 모델 등)과 해당 취약성을 추적하는 체계적이고 표준화된 수단이 없어 취약한 시스템이 퍼져 있는 범위를 파악하기 어려움, ③ AI 공격을 탐지하고 적발할 조직의 역량 및 인센티브가 부족할 수 있음

(3) AI 취약성의 법적 지위 명확화

- 미국에는 AI와 관련한 종합적인 법률은 없으나 형법, 소비자보호법, 개인정보보호법 등에서 관련 사항을 규정하고 있고, 최근에는 AI의 편견 및 차별에 관한 정책적 우려가 커지면서 연방 기관이 관련 가이드라인을 발표

- AI 관련 커뮤니티 및 개인은 기존의 법적 프레임워크와 가이드라인을 인식하고 해당 법률과 규정, 특히 편견 및 차별과 관련한 사항을 준수하도록 보장

(4) AI 보안 향상을 위한 효과적인 연구 지원

- 보안 관련 사항은 머신러닝 등 AI 배포자(기업)에게는 보조적인 고려사항인 경우가 많아, AI 시스템 보안 강화에 충분한 능력을 활용하지 않음

- 산업 내에서 보안에 대한 충분한 투자 인센티브가 보장되지 않는 경우, 정책적 영향력을 통한 해결방안 모색이 필요