국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
AI생성 코드의 사이버보안 위험 원문보기 1
- 국가 미국
- 생성기관 안보유망기술센터
- 주제분류 핵심R&D분야
- 원문발표일 2024-11-01
- 등록일 2024-11-08
- 권호 275
○ 미국 안보유망기술센터(CSET)는 AI 코드 생성 모델이 가져올 수 있는 잠재적인 사이버 보안 문제와 그 해결 방안에 대해 심도 있게 분석한 보고서를 발표
- 최근 개발로 대규모 언어모델(LLMs)과 다른 AI 시스템의 컴퓨터 코드 생성기능이 향상되었으며, 이는 소프트웨어 개발분야에서는 유망하지만 직간접적으로 사이버보안 위협을 초래할 수도 있음
- 이에 본 보고서에서는 AI 모드생성 모델과 관련된 광범위한 3개의 위험을 식별하고자 함: 1) 안전하지 않은 코드를 생성하는 모델, 2) 공격이나 조작에 취약한 모델, 3) 다운스트림 사이버보안 영향력
○ 연구에 따르면, AI 코드 생성 모델은 불완전하거나 취약한 코드를 생성하는 경향을 보임
- 안전하지 않은 AI 작성 코드의 위험을 더 자세히 알아보기 위해 5개 LLM에서 생성된 코드를 평가
- 평가 결과에 따르면 이 5가지 다른 모델에서 생성된 코드 스니펫(code snippets)*의 거의 절반에 종종 영향을 미치고 잠재적으로 악의적인 악용으로 이어질 수 있는 버그가 포함됨
* 코드 스닛펫은 '코드 조각', 즉 재사용 가능한 소스 코드, 기계어, 텍스트의 작은 부분을 말함
- 이는 모델의 훈련 데이터에 포함된 코드의 보안 수준이 낮거나, 코드 기능성을 중점으로 학습을 진행하여 발생하였으며, GitHub Copilot, ChatGPT 등의 사례에서 나타난 보안 취약성 문제는 AI 생성 코드가 잠재적으로 악성 공격에 이용될 수 있음을 시사
○ 본 보고서의 주요 결과는 다음과 같음
- AI 코드생성 모델이 산업계에 채택되면서 소프트웨어 공급망 보안에 대한 위험이 발생할 수 있으나, 더 크고 자원이 풍부한 조직은 비용과 인력의 제약에 직면한 조직보다 유리할 것으로 분석
- 다양한 이해관계자는 AI생성 코드와 관련된 잠재적인 보안위험을 줄이기 위해 노력해야 함
- 코드생성 모델 또한 안전성 평가를 받아야 하지만 현재는 어려운 상황이며, 코드 생성 모델에 대한 평가 벤치마크는 종종 모델의 기능적 코드 생성 능력에 초점을 맞추지만, 보안 코드를 생성하는 능력은 평가하지 않기 때문에 모델 학습 중에 기능보다 보안을 우선시하지 않는 경향
- 최근 개발로 대규모 언어모델(LLMs)과 다른 AI 시스템의 컴퓨터 코드 생성기능이 향상되었으며, 이는 소프트웨어 개발분야에서는 유망하지만 직간접적으로 사이버보안 위협을 초래할 수도 있음
- 이에 본 보고서에서는 AI 모드생성 모델과 관련된 광범위한 3개의 위험을 식별하고자 함: 1) 안전하지 않은 코드를 생성하는 모델, 2) 공격이나 조작에 취약한 모델, 3) 다운스트림 사이버보안 영향력
○ 연구에 따르면, AI 코드 생성 모델은 불완전하거나 취약한 코드를 생성하는 경향을 보임
- 안전하지 않은 AI 작성 코드의 위험을 더 자세히 알아보기 위해 5개 LLM에서 생성된 코드를 평가
- 평가 결과에 따르면 이 5가지 다른 모델에서 생성된 코드 스니펫(code snippets)*의 거의 절반에 종종 영향을 미치고 잠재적으로 악의적인 악용으로 이어질 수 있는 버그가 포함됨
* 코드 스닛펫은 '코드 조각', 즉 재사용 가능한 소스 코드, 기계어, 텍스트의 작은 부분을 말함
- 이는 모델의 훈련 데이터에 포함된 코드의 보안 수준이 낮거나, 코드 기능성을 중점으로 학습을 진행하여 발생하였으며, GitHub Copilot, ChatGPT 등의 사례에서 나타난 보안 취약성 문제는 AI 생성 코드가 잠재적으로 악성 공격에 이용될 수 있음을 시사
○ 본 보고서의 주요 결과는 다음과 같음
- AI 코드생성 모델이 산업계에 채택되면서 소프트웨어 공급망 보안에 대한 위험이 발생할 수 있으나, 더 크고 자원이 풍부한 조직은 비용과 인력의 제약에 직면한 조직보다 유리할 것으로 분석
- 다양한 이해관계자는 AI생성 코드와 관련된 잠재적인 보안위험을 줄이기 위해 노력해야 함
- 코드생성 모델 또한 안전성 평가를 받아야 하지만 현재는 어려운 상황이며, 코드 생성 모델에 대한 평가 벤치마크는 종종 모델의 기능적 코드 생성 능력에 초점을 맞추지만, 보안 코드를 생성하는 능력은 평가하지 않기 때문에 모델 학습 중에 기능보다 보안을 우선시하지 않는 경향
