주요동향 : S&T GPS

AI 안전 연구소(AI Safety Institute) 소개 자료 발표 원문보기 1

□ 과학혁신기술부는 AI의 안전한 개발 및 활용을 위해 설립한 ‘AI 안전 연구소’의 임무와 주요 기능 등을 제시한 정책 자료 발표*(’24.1.)

* Introducing the AI Safety Institute

※ 영국은 2023년 11월, 자국에서 개최한 AI 안전성 정상회의(AI Safety Summit)에서 ‘AI 안전 연구소(AI Safety Institute)’ 설립을 발표

○ ‘AI 안전 연구소’는 공익을 위한 첨단 AI 안전에 중점을 둔 최초의 국가 지원 기관으로, AI의 급속한 발전으로 인한 국가와 시민의 피해를 최소화하는 것이 임무

- 이를 위해 첨단 AI의 위험을 이해하고 거버넌스를 활성화하는 데 필요한 사회기술 인프라 개발에 주력할 계획

- 동 연구소는 AI 안전과 보안을 연구하며, 이러한 연구는 영국 및 국제 정책 결정에 정보를 제공하고 거버넌스 및 규제를 위한 기술적 도구*를 제공할 전망

* 민감한 데이터가 포함된 시스템을 미세 조정하는 안전한 방법, 모델 훈련 및 위험 평가에 대한 집단적 의견과 참여를 유도하는 플랫폼, 훈련 데이터의 편향성을 분석하는 기술 등

○ AI 안전 연구소 주요 임무 범위 내에서 활동을 조정해 나갈 예정이며 초기에는 다음의 3가지 핵심 기능을 수행

1) AI 시스템 평가 개발 및 수행

- 안전 관련 기능을 특성화하고 시스템의 안전과 보안을 이해하며, 사회적 영향을 평가하는 것을 목표로 시스템에 대한 평가를 개발 및 수행

- 연구소의 평가 목표는 특정 AI 시스템을 안전하다고 지정하는 것이 아니며, 시스템 평가의 개선을 통해 정부와 기업이 더 나은 정보에 입각한 의사결정을 내리고, 가장 우려되는 위험에 대한 조기 경보 시스템으로 작용하는 것임

2) 기초적인 AI 안전 연구 추진

- 첨단 AI 시스템의 위험성에 대한 이해를 증진하고 효과적인 AI 거버넌스에 필요한 기술 도구를 개발하기 위해, 다양한 탐색적 연구 프로젝트를 시작하고 외부 연구자를 초빙하는 등 기초적인 AI 안전 연구 추진

- 시스템 평가만으로는 첨단 AI의 안전하고 유익한 개발･활용을 보장할 수 없기 때문에, 효과적인 AI 거버넌스를 위해서는 위험 평가 이외의 기능이 필요

3) 정보 교환 촉진

- 기술적 복잡성, 경쟁 압력, 법적 문제, 안전 문제로 인해 현재 산업계, 정부, 학계, 대중 사이에는 큰 이해도 격차가 존재하므로, 연구소의 평가와 연구를 통해 AI 시스템의 기능, 안전장치, 사회적 영향에 대한 이해도 제고

- 연구소는 신뢰할 수 있는 중개자 역할을 수행하며, 관련 당사자들이 AI의 급속한 발전에 효과적으로 대응하는데 필요한 정보를 얻을 수 있도록 정책입안자, 규제기관, 기업, 국제 파트너 및 대중에게 연구 결과를 공유

- 과학혁신기술부의 중앙 AI 위험 관리 기능(Central AI Risk Function) 등 다른 정부 기관과 협력하여 AI 개발 및 안전 분야의 최신 정보를 정부에 제공