독일 공학한림원은 의료 시스템에 AI 도입시 예상되는 위험을 식별하고, 이에 대한 가능한 솔루션을 제시하기 위한 권고사항을 제시(’20.4.)

 ​

  * Sichere KI-Systeme für die Medizin – Datenmanagement und IT-Sicherheit in der Krebsbehandlung der Zukunft0

암 치료 부문에 AI 기술을 적용하는데 있어, 데이터 관리 및 보안이 매우 중요함에도 불구하고, 아직 데이터의 품질보증, AI 시스템 추적성, IT 보안 측면에 명확한 규정 부재

 - AI 시스템의 보안 문제는 가장 큰 문제점으로 지적되며, 데이터 오류, 편견 등 위조된 학습 데이터로 잘못된 결과를 초래하는 사례 발생

 - 전자 의무 기록(ePA)의 제 3자(환자, 의사, 건강보험사 등) 액세스 권한 부여에 대한 명확한 규정이 없어 보안조치가 필요

 - 환자의 의무기록에 대한 데이터 오용 방지를 위한 조치 요구

AI 시스템을 통한 암 환자의 진단·치료를 위해 고품질 데이터 확보, 소프트웨어 보안, 학습 데이터 확보, 안전한 AI 데이터 공유, 데이터 보안 강화 등이 필요

 ​

1) 고품질 데이터 확보

 ​

 - 인공지능 시스템의 고품질 학습 데이터 확보를 위한 의도적 조작 및 왜곡 배제

    ​

  * 피고인의 재발 가능성을 알고리즘을 사용하여 결정하는데, 과거 데이터를 기반으로 학습 되어 특정 연구 집단(소수민족, 저소득층)의 구성원에 불리하게 적용

 ​

 - 특정 데이터가 목적과 분야에 맞는 환자에게 사용되고 있는지 검사하고,

 ​

 - 전문가로 구성된 독립 그룹의 주도로 매년 무작위로 AI 시스템을 평가

    ​

  * 허가된 사람만이 인공지능 시스템 학습 데이터 업로드 가능하도록 하며, 이 과정에서 신원증명은 반드시 필요 (예: HBA (Health Professional Card) 및 비밀번호)

 ​

2) 소프트웨어 보안

 ​

 - 안정화된 알고리즘도 새로운 데이터 주입 및 자기 학습을 통해 다른 결과를 도출할 수 있으므로, 데이터 보안 메커니즘 개발

 ​

 - 학습 단계 연관 데이터 확인 시 조작 방지를 위해 데이터 익명화 필요

 ​

3) 프라이버시를 침해하지 않는 학습 데이터 확보

 ​

 - 사용자가 데이터를 해독하지 않고도 암호화된 데이터를 사용할 수 있는 기법을 활용하여 알고리즘 훈련에 사용되는 서버를 학습

 ​

 - 환자 데이터를 중앙 집중형 프레임워크에서 실시하지 않고, 학습 알고리즘을 데이터 취득 노드에서 전송하여 최소한의 결과만을 수집하여 통합

 ​

4) 안전한 AI 데이터베이스

 ​

 - 편견이나 문제가 있는 데이터를 검출 및 제거하고 시스템 재학습 또는 새로운 학습 데이터를 확보

 ​

 - 분석 결과가 피해를 야기하는 경우 정부 기관에 사용을 즉시 금지시킬 수 있는 권한 부여와 이후 재인증 절차를 거치도록 명문화

 ​

5) 환자 데이터 보안 강화

 ​

 - 전자 의무기록(ePA)은 의료 시스템 모든 부문에 영향을 미쳐, 보안 위협에 노출되기 쉬우므로 통합된 보안 접근방식 필요

 ​

 - 인증받은 대상만 액세스 할 수 있도록 해야 하며, 전자서명 등 암호화를 통한 위･변조 방지

 ​

 - 인증을 통해 의사는 전자 의무기록 데이터에 대한 권한 부여

    ​

  ※ 환자의 건강 카드, 건강 전문가 카드 및 인증(비밀)번호 마련, 민감정보 삭제, 파일 암호화 등