국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
MIT 테크놀로지 리뷰(MIT Technology Review), ChatGPT 기술 리뷰 원문보기 1
- 국가 미국
- 생성기관 MIT테크놀로지리뷰(MIT Technology Review)
- 주제분류 핵심R&D분야
- 원문발표일 2023-02-08
- 등록일 2023-03-03
- 권호 233
○ MIT 테크놀로지 리뷰(MIT Technology Review)는 ChatGPT*에 대한 기술 리뷰 보도
* Chat Generative Pre-trained Trasnformer: OpenAI가 2022년 12월 출시한 대화형 인공지능 챗봇
○ ChatGPT의 등장 및 성장 배경은 다음과 같음
- (1980~90년대: 순환신경망*) 1980년대 발명된 순환신경망은 단어 시퀀스를 처리할 수 있었지만, 학습속도가 느리고 시퀀스 내의 이전 단어를 잊어버릴수도 있어 이후 1997년 과거 데이터를 오래 보존할 수 있는 특수 구성 요소를 갖춘 순환신경망인 장단기 기억(LSTM) 네트워크를 발명, 수백 단어 길이의 텍스트 문자열을 처리
* Recurrent Neural Network(RNN): 인공 신경망의 한 종류로, 신경망은 동물의 뇌에 있는 뉴런이 서로 신호를 보내는 방식에서 영감을 얻은 소프트웨어를 의미
※ ChatGPT는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3의 한 버전으로, 수많은 텍스트로 학습된 신경망의 일종을 언어 모델로 함
- (2017년: Transformers) 구글 연구팀이 문맥 정보를 추적함으로써 긴 텍스트 문자열을 처리하고 단어의 의미를 더 정확하게 포착할 수 있는 새로운 신경망인 Transformers를 발명
- (2018-2019년: GPT 및 GPT-2) OpenAI는 범용 AI로 GPT 및 GPT-2를 출시
- (2020년: GPT-3): 질문에 답하고, 문서를 요약하고, 다양한 스타일의 스토리를 생성하고, 영어, 프랑스어, 스페인어, 일본어 등의 번역이 가능한 GPT-3 출시
- (2020년 12월: 독성 텍스트 등 편향 문제) 대규모 언어 모델이 거짓 또는 혐오 등 독성 텍스트를 만들어 낼 수 있다는 문제가 제기됨
- (2022년 1월: InstructGPT) 인간의 선호에 따르는 강화 학습을 통해 독성 텍스트의 양을 줄이는 노력을 수행, InstructGPT를 출시
- (2022년 5-7월: OPT, BLOOM) 대규모언어모델의 훈련 비용에 대한 비판이 제기됨에 따라 GPT-3를 재구성한 OPT, BLOOM의 구축 및 무료 제공
- (2022년 12월: Chat GPT) 출시 두달만에 1억명의 사용자를 달성, 인터넷 검색 분야에서 빠르게 성장
* Chat Generative Pre-trained Trasnformer: OpenAI가 2022년 12월 출시한 대화형 인공지능 챗봇
○ ChatGPT의 등장 및 성장 배경은 다음과 같음
- (1980~90년대: 순환신경망*) 1980년대 발명된 순환신경망은 단어 시퀀스를 처리할 수 있었지만, 학습속도가 느리고 시퀀스 내의 이전 단어를 잊어버릴수도 있어 이후 1997년 과거 데이터를 오래 보존할 수 있는 특수 구성 요소를 갖춘 순환신경망인 장단기 기억(LSTM) 네트워크를 발명, 수백 단어 길이의 텍스트 문자열을 처리
* Recurrent Neural Network(RNN): 인공 신경망의 한 종류로, 신경망은 동물의 뇌에 있는 뉴런이 서로 신호를 보내는 방식에서 영감을 얻은 소프트웨어를 의미
※ ChatGPT는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3의 한 버전으로, 수많은 텍스트로 학습된 신경망의 일종을 언어 모델로 함
- (2017년: Transformers) 구글 연구팀이 문맥 정보를 추적함으로써 긴 텍스트 문자열을 처리하고 단어의 의미를 더 정확하게 포착할 수 있는 새로운 신경망인 Transformers를 발명
- (2018-2019년: GPT 및 GPT-2) OpenAI는 범용 AI로 GPT 및 GPT-2를 출시
- (2020년: GPT-3): 질문에 답하고, 문서를 요약하고, 다양한 스타일의 스토리를 생성하고, 영어, 프랑스어, 스페인어, 일본어 등의 번역이 가능한 GPT-3 출시
- (2020년 12월: 독성 텍스트 등 편향 문제) 대규모 언어 모델이 거짓 또는 혐오 등 독성 텍스트를 만들어 낼 수 있다는 문제가 제기됨
- (2022년 1월: InstructGPT) 인간의 선호에 따르는 강화 학습을 통해 독성 텍스트의 양을 줄이는 노력을 수행, InstructGPT를 출시
- (2022년 5-7월: OPT, BLOOM) 대규모언어모델의 훈련 비용에 대한 비판이 제기됨에 따라 GPT-3를 재구성한 OPT, BLOOM의 구축 및 무료 제공
- (2022년 12월: Chat GPT) 출시 두달만에 1억명의 사용자를 달성, 인터넷 검색 분야에서 빠르게 성장
