국내외 과학기술 정책에 대한 간략한 정보
단신동향
국내단신
KAIST, 뉴로모픽 컴퓨팅 기반의 초저전력 거대 언어 모델 AI 반도체 핵심기술 ‘상보형-트랜스포머’ 개발 원문보기 1
- 국가 한국
- 생성기관 과학기술정보통신부
- 주제분류 핵심R&D분야
- 원문발표일 2024-03-06
- 등록일 2024-03-15
- 권호 258
○ KAIST PIM반도체 연구센터와 AI반도체 대학원 유회준 교수 연구팀이 400밀리와트 초저전력을 소모하면서 0.4초 초고속으로 거대 언어 모델을 처리할 수 있는 AI반도체 ‘상보형-트랜스포머*’를 삼성 28나노 공정을 통해 세계 최초 개발
* 상보형 트랜스포머(Complementary-Transformer): 스파이킹 뉴럴 네트워크(SNN)과 심층 인공신경망(DNN)을 선택적으로 사용해 트랜스포머 기능을 구현
- 그동안 다량의 GPU와 250와트의 전력소모를 통해 구동되는 GPT 등 거대 언어모델(LLM)을 4.5mm x 4.5mm의 작은 한 개의 AI 반도체 칩 상에서 초저전력으로 구현 성공
- 특히 인간 뇌 동작을 모사하는 뉴로모픽 컴퓨팅 기술, 즉 스파이킹 뉴럴 네트워크(Spiking Neutral Network, SNN)을 활용하여 트랜스포머 동작을 구현한 것이 특징
- 본 연구는 거대모델의 파라메타 수를 줄이는 데에만 집중된 최근 연구 트렌드와 달리 파라미터 수 감소에 더해 초저전력 처리가 가능한 뉴로모픽 컴퓨팅을 거대 언어모델 처리에 적용하여 에너지 효율을 극대화하였다는 점이 획기적
