GPT와 ChatGPT

GPT 뭔지 공부함.

말 그대로 옮긴다면 생성(G) 사전훈련(P) 변환기(T) 방식의 AI이다. 도대체 뭘 생성하고 뭘 변환한다는 것이냐? 자연어(NL)을 생성한다.  '변환기'란 인공신경망 모형을 그냥 그렇게 부른다.

[G]enerative는 주어진 질문으로 첫번째 단어 출력을 생성하면 그것이 다시 입력으로 들어가 두번째 단어를 만드는데 사용된다는 뜻이다. 반대로 discriminative는 입력만으로 출력을 결정한다.

[P]retrained는 특정한 목적에 맞춰 train된 건 아니지만 가능한 많은 데이터를 이용하여 훈련했다는 뜻이다. 사람으로 치면, 전문대를 보낸 게 아니고 일반대를 보낸 셈. 그래서 당장은 특정한 일에 좀 둔해도 일반적인 의미를 잘 파악하고 상식이 풍부하다. 향후 훈련에 따라 특정한 일도 잘하게 된다.

[T]ransformer는 인공신경망 모델을 말하는데, 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망이다. 구글이 발명한 구조인데, 특허 내지 않고 공개해서 아무나 쓰는 것.

 

OpenAI CEO Sam Altman

[Chat]GPT는 GPT3.0을 fine-tuning하여 chatting을 잘하도록 만든 것이다. 이상한 답이 나오면 벌점을 주고, 좋은 답이 나오면 칭찬을 하는 등 강화학습을 통해 훈련시켰다. NLP(자연어처리) 사전훈련 모델인 GPT-3에 이은 GPT-3.5로 업계에서 쳐준다. 차세대 자연어 생성 모델인 GPT-4는 아니지만 꽤 의미가 있다.

ChatGPT는 엄청난 기술인가? 아니다. 구글이 공개한 T를 잘 쓰면 된다. 구글이 특허를 냈다면 할 수도 없었다. OpenAI가 기회를 잡은 건 사실이다. 마이크로소프트가 욕심낼 만도 하다.

***

이상은 외우 이정우 선생 글이다.