생성형 AI 개념 종류 -대규모 언어 모델(LLM) 기반 Chat GPT

 

안녕하세요. EnerTravel입니다. 

 

인공지능 AI 학습의 중요성이 나날이 강조되고 있고, 저 역시도 세상을 바꿀 수 있는 새로운 기회라고 생각해 적극적으로 스터디해보고자합니다. 초보자의 관점에서 개념부터 실전 적용까지 하나하나 포스팅해보려하니 많은 관심 부탁드립니다.

 

첫번째 인공지능 AI 포스팅의 주제는 생성형 AI 개념 종류 -대규모 언어 모델(LLM) 기반 Chat GPT입니다.

 

 생성형 AI란? 

우리가 최근에 인공지능 광풍과 함께 듣고 있는 AI는 사실상 모두 생성형 AI라고 할 수 있는데요. 생선형 AI란 머신러닝의 하위 분야인 딥러닝 기술을 활용하여 다양한 콘텐츠를 생성하는 AI를 말합니다. 생성형 AI는 아래와 같은 종류가 있습니다.

 

- 텍스트 생성형 AI : 대규모 언어모델(LLM)을 기반으로 작동, 자연스러운 언어 생성(Ex. Chat GPT)

- 이미지 생성형 AI

- 동영상 생성형 AI 

- 음악/음성 생성형 AI

728x90

 

 대규모 언어 모델(LLM, Large Language Model)  

 

대규모 언어 모델(LLM)은 거대 언어 모델 혹은 대형 언어 모델이라고 번역되기도 하는데요. 우리가 알고 있는 Chat GPT, Bing Chat, Bard, Claude 등의 텍스트 생성형 AI 서비스 모두는 바로 이 대규모 언어 모델을 기반으로 하고 있습니다. 

 

 대규모 언어모델 작동 원리 : 토큰(Token) 및 토큰화   

토큰이란 인공지능 AI가 자연어(유저들이 자유롭게 입력하는 것)를 처리함에 있어 텍스트를 의미 있는 것으로 인식하는 단위를 말하며, 토큰 단위로 나누는 것을 '토큰화'라고 표현하는데, 토큰화의 목적은 복잡한 텍스트를 AI가 처리 가능한 단위로 분리하여 인공지능이 잘 이해하고 분석할 수 있도록 하는 것에 있습니다.

 

대부분의 LLM에서는 토큰을 텍스트를분석하고 처리하는 기본 단위로 사용하고 있으며, 우리가 가끔 Chat GPT로 질문을 하고 긴 답변을 기대했으나, 중간에 글이 잘리는 이유가 바로 토큰 제한과 관련이 있습니다. 이러한 토큰 수 제한은 자원의 한계 및 LLM 모델의 안정성 유지 및 응답 시간 관리 등으로 발생하기에, 사용자로서는 토큰 수 제한 개념을 이해하고 질문을 명확히 함으로써 Chat GPT와 같은 대규모 언어모델 활용도를 극대화 할 수 있겠습니다.

 

 

이상 '생성형 AI 개념 종류 -대규모 언어 모델(LLM) 기반 Chat GPT' 정리였습니다.
*동 업로드는 업체로부터 일체 보상을 받지 않은 내돈내산 포스트입니다.