□ 생성형 AI를 이용한 딥페이크 기술, 사이버 범죄 핵심 도구

○ 딥페이크(Deep fake)는 딥러닝(Deep learning)과 가짜(Fake)라는 단어의 합성어로 AI 기술을 기반으로 만들어 낸 가짜 이미지, 오디오, 비디오 등을 의미

- 생성형 AI 기술을 활용해 자연스러운 이미지 합성, 용이한 영상 제작과 생성 기간을 단축하는 등 긍정적 효과가 큰 반면 오사용으로 인한 가짜 정보, 유해 콘텐츠 생산 등 부작용 초래

○ 최근 대중에게 널리 알려진 정치･연예인 얼굴을 다른 사람 신체에 매핑해 자극적인 영상물 이미지나 오디오 등을 합성･조작하고 배포하는 딥페이크 기술의 폐해 확산

□ 글로벌 기업, 딥페이크 대응에 속속 합류

○ (메타) 자체 AI 도구 ‘메타 AI’를 사용해 만든 이미지와 외부 AI 도구로 만든 콘텐츠에 ‘이매진드 위드 AI(Imagined with AI)’라는 라벨을 붙이겠다고 공표(2.7.)

- 그동안 자체 AI 도구 ‘메타 AI’를 사용해 만든 이미지에 ‘이매진드 위드 AI’를 붙여왔는데, 이런 방식을 외부 AI 도구로 만든 콘텐츠에도 적용하는 것

- AI 도구로 생성된 이미지에 포함된 보이지 않는 워터마크나 특정 유형의 메타데이터(대량의 데이터를 구조화한 데이터)를 대규모로 식별할 수 있는 도구를 구축해 왔으며 이를 통해 구글과 오픈AI, 마이크로소프트, 어도브, 미드저니, 셔터스톡 등 다른 업체들의 AI 도구로 생성한 이미지를 인식

- 메타는 이 인식 도구를 활용해 앞으로 몇 달 안에 페이스북･인스타그램･스레드의 각 앱에서 AI 생성 이미지를 사용자들이 식별할 수 있도록 만든다는 계획

○ (오픈AI) 자사 이미지 생성 AI 도구 ‘달리3(DALL-E3)’이 만든 이미지에 콘텐츠 출처･진위 확인을 위한 연합(C2PA)의 디지털 워터마크를 부착

※ C2PA(Coalition for Content Provenance and Authenticity는 사진, 동영상 등 디지털 콘텐츠 생성과 유통 등 경위를 증명할 기술 표준을 다루는 단체

- 달리3을 사용해 생성한 이미지 왼쪽 위 모서리에 AI가 생성했다는 것을 증명하는 ‘CR’ 심볼과 날짜 등이 표시되며 메타데이터에도 사용한 AI 툴 명시

- 또한 오픈AI가 제공하는 콘텐츠 자격 증명(Content Credentials Verify)을 이용해 이미지 생성에 사용한 도구나 생성된 정확한 날짜 등을 확인

- 달리3을 통합한 챗GPT로 이미지를 생성하면 달리3에서 생성한 메타데이터와 해당 이미지를 챗GPT로 사용자에게 보여줄 때의 메타데이터 등 2종류 생성

- 오픈AI는 C2PA를 적용하면 이미지 파일 크기는 증가하지만 지연시간이나 이미지 생성 품질에는 거의 영향이 없다고 설명

○ (구글) 자사 AI 챗봇 서비스 ‘바드’에 이미지 생성 기능을 추가하고 구글 딥마인드가 개발한 ‘SythID’ 기반 워터마크를 적용하기로 결정(2.1.)

- 눈에 보이지 않는다는 점은 C2PA와 같지만 이미지 자체에 식별을 위한 기술이 적용된다는 점이 상이, 별도 메타데이터가 아니라 이미지 자체에 워터마크가 입혀지는 만큼 워터마크 제거가 더 어려움

- 아울러 C2PA 단체에도 참여하여 콘텐츠가 어떻게 만들어졌는지를 증명하는 콘텐츠 자격 증명을 촉진하고 이 기술을 구글의 제품과 서비스에 도입 검토

○ (공동 대응)오픈AI･구글･메타･MS･어도비･틱톡 등 주요 빅테크 기업은 미국 대선 등 중요한 선거를 앞두고 유권자를 속이는 AI 생성 콘텐츠에 공동 대응 합의(2.13)

- AI 도구로 생성된 선거 관련 콘텐츠를 식별할 수 있게 하고 대중에게 AI 위험성을 교육하는 조치에 합의한 것으로 알려졌으며 구체적 내용은 2.16일 독일에서 열리는 뮌헨 안보 회의(MSC)에서 발표 예정

□ 미국 33개주는 딥페이크와 전쟁에 동참하며, AI 딥페이크 방지 법안 발의

○ 뉴욕주는 AI 조작 처벌･선거운동 사용 AI 공개 추진 등 AI로 생성한 정치 콘텐츠는 이를 표기하도록 고지 의무를 부과하거나, AI로 생성한 콘텐츠 자체 게시를 금지하는 방법 등 법안을 발의