가. AI 리스크

□ 부정확하거나 편향된 응답 생성의 위험성

ㅇ 대규모 언어모델에 기반한 ChatGPT, BingChat, Bard 등의 생성형 AI는 방대한 데이터를 통해 학습하지만, 데이터의 유한성으로 인해 때때로 부정확하거나 편향된 응답 생성

- 생성형 AI는 학습에 활용된 데이터를 맥락･분별력 등을 가지고 이해하는 것이 아니라 패턴을 기반으로 분석하고 결과 도출

- 생성형 AI는 학습된 데이터 전반에 대해 일반화를 수행하도록 설계되므로, 일반화가 어렵거나 특정한 상황에 대한 분석에 부적절

- 생성형 AI 학습에서 소수집단의 데이터가 적절히 활용되지 않을 경우, 해당 집단 특성을 제대로 반영하지 못하거나 기존 편향을 증폭하는 부작용 발생

ㅇ 이러한 한계점으로 인해 생성형 AI는 부정확하거나 편향된 응답 생성의 잠재적인 위험성 내포

- 생성형 AI는 생성된 정보의 정확성을 검증할 수단이 부족하여, 그럴듯하게 들리기는 하지만 부정확하거나 잘못된 정보가 제공될 가능성 존재

- 편향된 데이터를 통한 학습으로 생성형 AI가 비윤리적이거나 사회적 갈등을 조장할 수 있는 응답을 생성할 위험성 상존

□ 개인정보 및 사생활 침해의 위험성

ㅇ 생성형 AI는 인터넷을 통해 접근이 가능한 방대한 양의 데이터를 통해 학습하며, 이러한 데이터에는 민감한 개인 혹은 사생활 관련 정보가 포함될 가능성 존재

- 생성형 AI는 뉴스, 보고서, 논문 등에서 추출한 데이터뿐만 아니라, 적절한 익명 조치 혹은 필요한 권한 획득 없이 수집된 민감한 개인･사생활 정보를 학습에 활용할 가능성 존재

- 생성형 AI가 학습 데이터를 활용하여 새로운 콘텐츠를 생성하도록 설계되었다고 하더라도, 학습 과정에서 습득한 민감한 데이터의 일부 또는 전부가 콘텐츠에 포함되어 노출될 가능성 상존

ㅇ 생성형 AI 학습 과정에서의 부적절한 개인･사생활 정보의 활용으로 인해 매우 뚜렷한 위험 발생

- 생성형 AI가 적절한 권한 획득 혹은 정보 주체의 동의 획득 없이 종교, 정치 성향, 건강, 결혼생활 등 민감정보를 수집･활용함에 따라 해당 정보가 타 사용자에게 제공된 응답에 노출될 높은 위험성 존재

- 생성형 AI가 공개된 개인･사생활 정보를 학습에 활용하고, 이를 기반으로 응답을 생성할 경우, 정보의 활용이 해당 정보의 최초 생성 맥락에서 벗어나 공개되어서는 안 된다는 ‘맥락 무결성(contextual integrity)’의 원칙 위반 가능성 상존

- 생성형 AI는 정보 주체가 자신의 정보를 확인하고 삭제를 요청할 수 있는 절차를 제공하지 않으므로, 유럽연합을 포함한 여러 국가에서 규정하고 있는 개인정보 확인권･열람권･삭제권 등과 같은 원칙의 위반 위험성 존재

- 생성형 AI는 인터넷에 이미 존재했던 데이터의 수집 이외에도 사용자와의 상호작용을 통해 입력 프롬프트, 검색내용, 민감정보 등 매우 폭넓은 정보를 수집하고 있으나, 적절한 권한 획득 없이 이를 활용하여 정보 주체의 개인정보 유출 가능성 상존

□ 지식재산권 침해의 위험성

ㅇ 생성형 AI는 방대한 양의 데이터를 학습하며, 학습된 데이터를 기반으로 정보 혹은 콘텐츠를 생산

- 생성형 AI의 학습은 도서, 뉴스, 보고서, 연구논문, 게시물 등 인터넷을 통해 접근가능한 자료를 활용하여 이루어지므로, AI를 통해 생성된 콘텐츠가 기존의 저작물과 유사할 가능성 존재

- 생성형 AI가 카피레프트(copyleft), 크리에이티브 커먼즈(creative commons) 등과 같이 특정 조건을 만족하는 저작물을 학습하여 새로운 콘텐츠를 만들 경우, 이러한 콘텐츠에 대한 명확한 권리 기준 부재

ㅇ 생성형 AI가 생산한 콘텐츠는 지식재산권의 침해 및 귀속과 관련하여 다양한 위험성 내포

- 생성형 AI는 기존 저작물로부터 대규모 학습 데이터를 획득하므로, 의도적 혹은 비의도적으로 저작권이 있는 저작물을 학습 데이터로 활용하거나* 학습 데이터와 유사한 결과물을 생성하여 지식재산권 침해 가능성 상존

* 2023년 3월 삼성전자 반도체 부문에서 내부 기밀에 해당하는 내용을 ChatGPT에 입력하여, 해당 내용이 학습 데이터로 저장된 사례

- 생성형 AI가 창작한 소설, 그림, 음악 등 저작물의 저작권이 누구에게 귀속되는지, AI 생성 콘텐츠는 창작물이 아니므로 저작권의 대상에서 제외되는지 등에 대한 혼란 발생 가능성 존재

- 생성형 AI의 활용 증가로 AI 생성 콘텐츠가 급증하는 가운데, 원본과 AI 생성 콘텐츠의 비교를 통한 표절 여부 확인이 매우 어려울 가능성 존재

□ 허위정보 생성의 위험성

ㅇ 최근 생성형 AI의 활용 증가는 유용한 정보에의 신속한 접근 및 분석을 가능하게 한다는 장점과 함께 딥페이크, 허위정보 등으로 인한 윤리적 문제 야기

- 특정 개인 혹은 집단이 생성형 AI를 활용하여 금전적 또는 정치적 목적 달성을 위해 허위정보 유포, 여론조작, 사회적 혼란 야기, 개인의 명예 훼손 등의 행위를 손쉽게 할 수 있음

ㅇ 생성형 AI가 제공하는 다양한 정보가 허위일 가능성 존재

- 대부분의 일반인은 생성형 AI를 통해 제작된 뉴스, 이미지, 비디오, 목소리 등의 진위를 판단할 수 없으므로, 이로 인해 다양한 사회적 문제 발생 위험성 증가

ㅇ 생성형 AI 제조사의 학습 데이터 및 생성 정보에 대한 모니터링 활동에 한계 발생

- OpenAI, Google 등 생성형 AI 제조사는 학습 데이터 및 생성 정보를 모니터링하여, 사용자를 기만･조작하려는 행위, 정치에 부당하게 영향을 미치는 행위, 거짓을 조장하는 행위 등의 활용을 금지하고, 생성형 AI가 허위･왜곡･편향된 정보를 생성할 가능성이 있음을 사용자에게 고지하는 정책 도입

- 생성형 AI가 제작하는 정보･콘텐츠의 유해성･편향성 등을 모니터링하고 차단하는 도구의 개발･제공

- 하지만 생성형 AI 사용자의 급증과 학습 데이터의 양적･질적 증가로 인해 제조사가 생성형 AI의 학습에 활용되는 데이터와 생성되는 정보･콘텐츠를 모두 모니터링하기에는 어려움 발생

□ 사이버 공격 및 사이버 위협 증대의 위험성

ㅇ 생성형 AI는 사이버 공격을 사전에 포착하여 예방하는데 이용될 수도 있지만, AI가 사이버 공격을 위한 도구로 활용될 수도 있음

- 대부분의 생성형 AI는 해킹, 분산 서비스 거부 공격(DDoS Attack) 등의 사이버 공격과 같은 불법적･비윤리적 요청을 거부하도록 하는 윤리코드가 설정되어 있으나, 사용자가 연구, 실험 등을 목적으로 한 요청임을 설명하면 윤리코드 해제 가능

- 따라서 전문적인 기술을 가지지 못한 악의적인 해커(black-hat hacker)들도 생성형 AI를 활용해서 소스 코드의 보안 취약점(vulnerability) 확인, 보안 취약점 활용 도구(exploit tool) 개발, 악성 소프트웨어(malware) 제작･배포, 대규모 피싱 이메일 제작･유포를 할 수 있으므로 손쉽게 새로운 사이버 공격수단을 개발하거나 사이버 공격의 시도 가능

- 이 밖에도 AI 시스템 자체에 대해 악의적이거나 왜곡･변조된 학습 데이터 등을 주입하는 방식의 사이버 공격 위험성 역시 증가

나. AI 리스크 관리의 필요성

□ 생성형 AI의 긍정적 효과를 극대화함과 동시에 위험을 최소화하기 위해 관련 정책의 개발･도입 필요

ㅇ 생성형 AI의 활용은 사람들에 의해 이루어지는 노동의 효율성을 증가시킬 것으로 기대되나, 여론조작 및 허위정보 유포, 지식재산권 침해, 사이버 공격 확대 및 사이버 위협 가능성 증대 등과 같은 부작용이 초래될 것으로 예상

ㅇ 생성형 AI와 인간의 바람직한 공존을 위해 AI로 인해 발생할 수 있는 위험에 대한 효과적인 통제 및 관리의 필요성 증대

3. 글로벌 AI 규제 동향

가. 유럽연합

□ 유럽연합(EU)은 더 나은 조건으로 AI 기술을 개발･활용하고자 AI에 대한 규제 도입 추진

□ 2019년 EU 내 고위전문가 그룹인 High-Level Expert Group에서 ‘신뢰할만한 AI 윤리 가이드라인(Ethics Guidelines for Trustworthy AI)’을 발표

ㅇ 동 가이드라인에서는 신뢰성 확보를 위한 3대 주요 요소(적법성, 윤리성 및 기술적 견고성)와 7대 주요 사항(인간 행위자와 감독, 기술적 견고성과 안전성, 프라이버시와 데이터 거버넌스, 투명성, 다양성･차별 금지 및 공정성, 사회･환경적 복지 및 책임성)을 제시

□ 2021년 4월 유럽연합집행위원회(EC)가 AI에 대한 최초의 EU 규제 프레임워크인 ‘인공지능법안(AIA: Artificial Intelligence Act)’을 제안하였으며, 2023년 6월 유럽의회 본회의에서 협상안이 가결되었고 유럽연합집행위원회에서 협상안이 통과되면 2026년부터 시행

ㅇ EU AIA는 총 85개 조문과 9개의 부속서 조문으로 구성

- AIA는 기본적으로 인간 중심적이고 신뢰할 수 있는 AI의 활용을 촉진함과 동시에 AI로 인한 유해한 영향을 최소화하여 건강, 안전, 기본권 및 민주주의를 보호하는 것이 입법 취지

ㅇ EU AIA는 다양한 애플리케이션에 사용되는 AI 시스템을 사용자에게 미치는 위험수준에 따라 허용할 수 없는 위험(unacceptable risk), 고위험(high risk) 및 저위험 또는 최소위험(low or minimal risk)으로 분류하고, 그 수준에 따라 규제의 강도를 달리함

- 허용할 수 없는 위험을 가진 AI 시스템은 ① 잠재의식 또는 기만적 기술을 활용하여 사람의 의사결정을 조작, ② 사람 또는 특정 집단의 취약성을 활용, ③ 사람 또는 특정 집단에 불리･불평등한 처우를 하거나, 사회적 점수(social scoring)를 평가 또는 분류, 혹은 ④ 공공의 접근이 가능한 공간에서 실시간 원격 생체인식 식별 기술을 활용하는 시스템을 의미하며, 이러한 AI 기술 사용은 원천적으로 금지됨

- 고위험 AI 시스템은 ① 사람의 생체 인식･분류, ② 중요 인프라 관리 및 운영, ③ 교육 및 직업훈련, ④ 고용, 노동자 관리 및 자영업에 대한 접근, ⑤ 필수 민간･공공 서비스에 대한 접근, ⑥ 법 집행, ⑦ 이주, 망명 및 국경 통제 관리, ⑧ 법률 해석 및 법 적용에 대한 지원 등에 활용되는 AI 시스템을 말하며, 고위험 AI 시스템 사용에 대해서는 높은 수준의 인적･물적 요구사항 부과

- EU AIA는 또한 생성형 AI에 대해 사람과 상호작용하는 시스템임을 고지할 의무, 생성되는 콘텐츠의 EU 법률 준수 의무, 저작권법 준수 의무 등을 규정

- 이 밖에도 EU AIA는 사용자에 대한 AI 시스템과의 교류 사실 고지, 감정･생체인식 AI의 작동 사실 고지 및 동의 획득을 요구하는 투명성 의무를 규정하고 있으며, 저위험 또는 최소위험 AI 시스템이라고 하더라도 투명성 의무 준수 필요

나. 미국

□ 신산업에 대해 민간의 역할을 강조하는 미국은 AI 분야의 혁신 촉진을 위해 규제 도입에는 소극적인 움직임을 보였으나, 최근 개인정보 유출, 사생활 침해, 지식재산권 이슈 등 일련의 문제가 발생하자 다양한 규제안 마련 시작

ㅇ 다만, 미국은 유럽연합처럼 위험성이 높거나 비윤리적인 AI를 강력하게 규제하는 것이 아니라, 기업에 일정 수준의 책임을 부여하고 이를 위반하는 경우 정부가 제재하는 규율방식 활용

□ 연방 차원에서 미국은 법률, 보고서･지침, 행정명령 등을 통해 AI의 규제 방향 설정

ㅇ 자국의 국방 및 안보를 중요시하는 미국은 AI와 관련하여 법률 차원에서 ‘AI 훈련법(AI Training for the Acquisition Workforce Act)’과 ‘2023 국방수권법(National Defense Authorization Act for Fiscal Year 2023)’ 제정

- 동 법률은 행정기관 및 국방･정보기관이 AI 관련 교육을 통해 이해도를 높이고, 이를 윤리적이고 안전하게 업무에 활용하도록 규정

- 이 밖에도 AI로 인한 위험의 관리와 개인의 권리보호를 위해 ‘알고리즘 책임법(안)’, ‘디지털 플랫폼 위원회법(안)’ 등을 제안

ㅇ 보고서･지침은 AI의 사용으로 인해 침해될 수 있는 인권의 보호를 위한 선언적인 문서로 크게 AI의 위험관리 및 국민의 권리보호 분야 구분 가능

- AI의 위험관리를 위한 보고서･지침으로는 ‘AI 위험관리 프레임워크’를 들 수 있으며, 이는 AI의 편향으로 인한 위험의 분석 및 관리방법에 대한 지침 제공

- 권리보호에 관한 보고서･지침에는 ‘AI 권리장전 청사진’, ‘혁신을 통한 온라인 해악퇴치 보고서’, ‘고용에서의 장애인 차별금지에 관한 지침’ 등이 있으며, 인권보호, 평등보장, 차별금지 등에 관한 내용 수록

ㅇ 행정명령은 행정부 내에서 효력이 발생하는 문서로, 대표적인 AI 관련 행정명령에는 ‘연방정부 내 신뢰할 수 있는 인공지능의 활용을 촉진하기 위한 행정명령’이 있음

- 동 행정명령은 행정절차의 효율화를 위한 연방행정기관의 AI 활용 허용과 AI 설계･취득･개발 단계에서의 국민 보호 원칙 관련 내용 수록

□ 연방이 AI의 기술 진흥과 위험 완화에 초점을 둔 규제 방향을 설정하고 있는 것과는 달리, 주정부 차원에서는 AI로 인해 발생할 수 있는 다양한 위협을 통제할 수 있는 규제 마련에 노력

- 특히, 다양한 주에서 AI로 인해 발생할 수 있는 차별 및 편향된 의사결정 방지, 투명성･공개성 확보 등을 위한 규제를 마련

다. 중국

□ 중국은 AI 기술의 발전 촉진을 위해 인력양성 및 발전계획 수립함과 동시에 일련의 원칙 및 지침 제시를 통해 AI의 신뢰성 확보, 검인증 체계 확립 등을 추진

□ 2019년 5월 ‘베이징 AI 원칙’에서 인간의 복리 및 다양성･포용성 추구를 기본가치로 하는 AI의 개발, 사용 및 거버넌스의 대항목으로 구성된 15개의 원칙 공표

□ 2019년 6월 ‘국가 차세대 AI 관리 특별위원회’에서는 공평성, 포용성, 사생활 존중, 안전성, 제어 가능성, 민첩한 거버넌스 등을 주요 골자로 하는 8개 항목으로 구성된 ‘차세대 AI 관리원칙’ 발표

□ 2023년 5월 중국 국무원은 총 24개 조항으로 구성된 ‘생성형 AI에 대한 관리지침’을 공표

ㅇ 해당 지침은 생성형 AI의 건전한 발전 및 표준화, 국가안보･공공이익･권익 등의 수호를 목표로 수립됨

ㅇ 해당 지침은 중국 내에서 서비스되는 생성형 AI의 훈련･배포･이용 전 과정의 관리감독 체계를 규정하고 있으며, AI 기술개발의 촉진, 보안평가, 데이터 훈련･라벨링, 콘텐츠 관리, 차별금지, 개인정보보호 등과 관련된 의무에 대한 사항 포함

ㅇ 지침은 텍스트･이미지･소리･동영상･콘텐츠 등의 생성형 AI 기술 전반에 적용

라. 영국

□ 영국은 AI가 발생시킬 수 있는 위험에 대한 대응 및 국민 신뢰의 확보를 지향하면서도 기업에 대한 투자 지원과 혁신 촉진을 위해 비례적인 규제 추구

□ 구체적으로 영국은 2023년 3월 AI 위험 대응과 혁신 촉진을 위해 ‘AI 규제에 대한 혁신적 접근법(A Pro-innovation Approach to AI Regulation)’이라는 AI 백서 발표

ㅇ AI 백서는 2022년 ‘AI 규제에 대한 혁신적 접근법 수립(Establishing a Pro-innovation Approach to Regulating AI)’ 보고서에서 제시한 ‘AI 규제 프레임워크’의 공통원칙과 실천방안을 구체화

- 프레임워크에서는 효과적인 AI 규제를 위해 적응성과 자율성에 기반한 AI 개념 정의, AI가 이용된 구체적인 상황에 따른 규율, 다양한 분야에 적용 가능한 공통원칙 제공, 정부의 핵심 기능 지원･제공 등 네 가지 요소를 설계 기반으로 제시

- 프레임워크에서는 AI 규제의 공통원칙으로 안전성･견고성, 투명성･설명가능성, 공정성, 책임성 및 이의제기･구제를 제시

4. 한국의 AI 규제 현황 및 개선 시사점

□ 각국 정부는 생성형 AI가 사회에 가져다 줄 수 있는 편익과 함께 AI로 인한 위험에 대응하기 위한 다양한 규제정책 추진

ㅇ 유럽연합, 미국, 중국, 영국 등을 포함한 세계 주요국의 AI 규제는 개방성, 투명성, 공정성 등의 보장과 시민 보호 및 차별금지 등 명분상으로는 차이가 크지 않지만, 인권･개인정보 보호, 안보의 강조, 위험의 수준 등에서는 비교적 큰 차이 발생

□ 우리나라 역시 생성형 AI의 순기능의 극대화와 역기능의 최소화를 위한 다양한 논의가 활발히 진행

ㅇ 한국은 2019년 이후 ‘인공지능 국가전략(2019)’, ‘인공지능 윤리기준(2020)’, ‘신뢰할 수 있는 AI 실현전략(2021)’ 등을 발표하며 AI의 발전과 역기능 방지를 위한 정책 마련 추진

- ‘인공지능 국가전략’에서는 AI 생태계 조성, 인재 양성, 윤리 정립, 법제도 정비 등을 통해 AI 강국으로의 도약을 위한 혁신 추구와 역기능 방지를 동시에 추구

- ‘인공지능 윤리기준’은 사람 중심 AI 달성을 위해 인간성을 가장 중요한 가치로 강조하며 3대 기본원칙(인간의 존엄성 원칙, 사회의 공공선 원칙 및 기술의 합목적성 원칙)과 AI 전 생명주기에 걸쳐 적용되는 10대 핵심요건을 제시하였으며, 2022년 동 윤리기준의 현장 적용을 위한 자율점검표･개발안내서 발표

- ‘신뢰할 수 있는 AI 실현전략’은 기술･제도･윤리 3개 부분에서 AI 시스템의 신뢰성을 강화할 수 있도록 설명가능성 추가, 편향성 진단･제거, 공정성 확보 등을 추진

ㅇ 2021년 개인정보보호위원회의 ‘AI 개인정보보호 자율점검표’에서는 AI 관련 업무처리 전 과정에서 준수되어야 할 사항을 제시하였으며, 2023년에는 AI 관련 쟁점에 효과적으로 대응하기 위한 주요 정책방향을 발표

- ‘AI 개인정보보호 자율점검표’는 AI의 전 생애주기에서 발생할 수 있는 개인정보 침해를 예방하기 위한 6개의 원칙(적법성, 안전성, 투명성, 참여성, 책임성 및 공개성)과 이를 기반으로 한 8개 단계에서 점검해야 하는 16개 항목 및 54개 확인사항 제시

- 한편, 2023년 발표된 AI 주요 정책방향에서는 안전하고 효율적인 AI의 활용을 위한 규제방안 제시

ㅇ 방송통신위원회는 2021년 AI 시스템 이용자 보호를 위해 ‘인공지능 기반 미디어 추천 서비스 이용자 보호 기본원칙’을 제시하였으며, 2022년 이에 대한 해설서 발표

□ 한편, 국회에서도 활발한 AI 관련 법안 발의 확인 가능

ㅇ 21대 국회에서는 총 12건의 AI 관련 법안이 발의되었으며, 2023년 2월 법안소위에서 이 중 7개 법안을 통합한 ‘인공지능산업 육성 및 신뢰 기반 조성에 관한 법률(안)’(이하 “인공지능법(안)”) 통과

□ 이와 같이 국내･외 생성형 AI 관련 규제 동향을 통해 몇 가지 시사점 확인 가능

ㅇ AI 규제의 목적은 안전성과 신뢰 확보를 통해 순기능을 극대화하고 역기능을 최소화하고자 하는 것으로 규제 혹은 혁신 중에 하나를 선택해야 하는 것이 아니라 합리적인 규제 프레임워크의 개발을 통해 AI의 혁신을 촉진하는 것

- 생성형 AI 서비스의 혁신과 발전을 위해서는 민관 협력으로 합리적인 규제 프레임워크를 개발하고, 이를 통해 AI의 안전성과 신뢰성 확보 필요

ㅇ AI 규제를 통해 신뢰성을 확보하기 위해서는 투명성, 설명가능성, 공정성 등의 원칙을 규정하는 것뿐만 아니라, 정보 주체 나아가 소비자의 권리를 보호할 수 있는 수단 강구 필요

- AI 규제는 AI로 인한 권리의 침해, 차별 등에 대해 정보 주체 혹은 소비자가 이의를 제기하거나 적절한 구제를 받을 수 있도록 실효적인 수단 제공 필요

ㅇ ‘우선 허용, 사후 규제’, ‘원칙 중심 규제’ 등의 규제 프레임워크를 통해 AI 분야의 발전･혁신 촉진을 도모한다고 하더라도, 이러한 프레임워크를 적용할 수 있는 AI 분야에 대한 명확한 기준 설정 필요

- 생성형 AI는 그 사용 용도에 따라 상이한 위험수준을 지닐 수 있으므로, 획일적인 프레임워크의 적용은 사회･경제적으로 광범위한 위험･부자용을 초래할 수 있으므로 인권･안전･위험성 등을 폭넓게 고려하여 적용 여부 및 범위 결정 필요

ㅇ 생성형 AI는 매우 빠르고 지속적인 발전으로 인해 불확실성이 매우 높은 기술이므로, 이러한 불확실성의 완화를 위해 전문가･이해관계집단이 규제정책과정에 적극적으로 참여할 수 있는 방안의 제도화 고려 필요

- 편향성･유해성･위험성을 완화하고 신뢰성을 높일 수 있도록 전문가･이해관계집단이 AI 서비스의 전 생애과정에 참여하여 서비스를 수정하고 품질을 향상시키는 ‘Human-in-the-loop’ 접근방식의 제도화 고려 가능

한국행정연구원 심우현 연구위원