본문으로 바로가기

국내외 과학기술정책에 대한 주요 정보

주요동향

주요동향

AI 챗봇 이루다, 차별·혐오 발언과 개인정보 유출 등 논란 가열 원문보기 1

  • 국가 한국
  • 생성기관 조선비즈
  • 주제분류 핵심R&D분야
  • 원문발표일 2021-01-15
  • 등록일 2021-02-05
  • 권호 184

일상적인 대화를 나눌 수 있는 인공지능(AI) 챗봇 이루다


스캐터랩은 별도의 앱 설치 없이 페이스북 메신저를 통해 일상적인 대화를 나눌 수 있는 AI 챗봇 이루다를 정식 출시(2020.12.23)했으며 10~20대 사이에서 빠르게 유행

 

12.PNG

 

- 이루다는 문자 메시지, 카카오톡 보다 페이스북 메신저가 익숙한 신세대를 겨냥하여 페이스북 메신저에 구축되었으며 모바일 메신저로 말을 걸면 실제 사람과 대화하는 AI 챗봇


- 의성어나 신조어를 자연스럽게 섞어 쓰고 감정을 표현하거나 이용자를 놀리기도 하는 등 국내에서 그동안 출시됐던 어떤 AI 챗봇과는 다르게 친근한 어투로 생동감 있는 대화 구사


- 스캐터랩은 실제 연인들이 나눈 대화 데이터를 딥러닝 방식으로 이루다에게 학습


- 이루다는 인적 평가 지표(SSA: Sensibleness and Specificity Average) 78%를 기록했으며 이는 사람의 SSA86%에 근접한 수준으로 구글에서 2020년 초에 공개한 오픈 도메인 챗봇 미나(Meena)보다 약간 더 좋은 수준


- 정식 서비스를 시작하자마자 Z세대(1990년대 중반2010년대 초중반생) 사이에서 붐에 가까울 정도로 높은 인기 구가


1월 초 기준 누적 사용자 수는 32만 명, 일일 이용자 수(DAU)는 약 21만 명, 누적 대화 건수는 7,000만 건을 기록했으며 10대 이용자 비중은 85%, 20대 이용자는 12%로 집계


출시 3주 만에 성희롱, 장애인동성애 혐오, 개인정보 유출 등 논란 확산


성희롱, 장애인동성애 혐오, 성차별 등 이루다를 둘러싼 논란이 계속되고 있는 가운데 개인정보 유출 논란까지 더해지면서 AI 윤리적 논쟁 가열

 


13.PNG

 

(#1 성희롱) 일부 이용자가 여러 온라인 커뮤니티 게시판에 이루다 성노예 만드는 법등의 제목으로 이루다와 성적 대화를 나눈 경험담 공유


- 이루다는 출시 당시부터 성적 단어를 금지어로 필터링하고 있으나 이용자들은 우회적인 표현을 사용하거나 필터링에 걸러지지 않는 방법을 찾아내는 식으로 성적 대화를 유도


- AI 챗봇을 상대로 성희롱을 일삼는 이용방식이 왜곡된 성 문화를 조장하고 현실에서도 성차별로 이어질 수 있다는 우려 제기


(#2 인종성차별) ‘레즈비언등 동성애 관련 단어에 진짜 싫다, 혐오스럽다, 떨어져 보인다, 소름 끼친다라고 답하는 모습을 보이며 차별혐오 논란 가중


- 불특정 다수에게 서비스를 제공하는 챗봇이 성적취향에 대해 차별과 혐오하는 메시지를 표현하는 것은 개발사에게 책임을 물어야한다는 여론 형성


(#3 개인정보 유출) 스캐터랩의 연애의 과학앱을 통해 수집한 데이터에 포함되어 있던 이용자 이름주소계좌번호예금주대화 등이 걸러지지 않고 그대로 노출


- 스캐터랩은 이루다가 실제 사람처럼 대화할 수 있도록 방대한 대화 데이터를 입력해 딥러닝 방식으로 학습시켰으며 이를 위해 자사의 연애의 과학앱을 통해 실제 연인들 간의 대화 데이터 활용


- 연애와 관련된 조언 등을 주제로 한 연애의 과학은 연인과 나눈 카카오톡 대화를 입력하면 상대방의 감정을 분석해주는 서비스를 제공하며 데이터를 수집


연애의 과학은 실제 인공지능으로 카카오톡 대화를 분석해준 덕에 다른 연애 관련 앱과 차별점을 보여 유료임에도 불구하고 구글 플레이스토어에서만 10만 명이 넘게 다운로드를 받는 등 10~20대 사이에서 선풍적 인기


- 서비스를 이용할 때 흔히 동의하게 되는 개인정보 취급방침등의 약관에는 신규 서비스 개발 및 마케팅광고에 활용한다는 내용이 포함되어 있지만 이용자들이 복잡한 약관 속에 간략히 포함된 내용을 구체적으로 인식하기 어렵게 고지되어 수집된 점이 논란


- 특히 이용자가 이루다에게 주소를 물어보자 실제 존재하는 주소를 불러주는 등 수집된 데이터 속 개인정보가 이루다와 대화를 나누는 과정에서 노출되며 문제 가중


- 아울러 스캐터랩이 오픈소스 플랫폼 깃허브에 카카오톡 대화 데이터로 학습하는 인공신경망 모델 파일을 업로드 했으며 이 중에는 익명화를 안 한 개인정보가 다수 발견


- 스캐터랩은 가명 처리가 부실했다는 지적은 일부 인정했지만 이루다 데이터베이스의 정보를 조합해 한 개인을 특정하는 것은 불가능하다고 강조


논란 끝에 이루다서비스 잠정 중단AI 윤리 문제로 확산


성희롱과 개인정보 유출, 차별혐오 논란이 일어난 이루다를 개발한 스캐터랩은 논란이 확산되자 결국 서비스 중단 결정(1.11)


- 한국인터넷진흥원(KISA)과 개인정보보호위원회가 조사를 종료하는 즉시 이루다 데이터베이스와 딥러닝 대화 모델의 폐기를 진행할 계획


- 또한 이루다 개발에 활용된 연애의 과학에서 데이터 활용을 원하지 않는 이용자로부터 신청을 받은 후 해당 데이터를 모두 삭제할 예정


- 아울러 현재 논란된 모든 사항에 대해서 진상조사위원회를 구성해 사내에서도 철저히 조사하고 외부 전문가를 포함한 상시개인정보보호체계를 구축하는 등 재발 방지를 위한 강화된 보안 교육을 실시할 방침


AI 성희롱, 혐오차별, 개인정보 유출 등 각종 논란으로 출시 3주 만에 서비스 중단된 AI 챗봇 이루다 사태로 ‘AI 윤리에 대한 논의 가열


- 한국인공지능윤리협회는 AI 서비스를 만드는 기업들과 이용자들이 AI 윤리 필요성과 중요성을 아직 인식하지 못하는 상황이라고 지적하며 AI에 학습되는 빅데이터는 신뢰할 수 있고 편향적이지 않아야 한다고 설명


- 한편 이루다를 통해 사적인 카카오톡 대화 등 개인정보가 유출됐다고 주장하는 피해자 400여명은 집단 소송 절차에 착수하며 이번 사태가 쉽게 누그러지지는 않을 전망

배너존