LLM

LLM (Large Language Model) 이란

인간의 언어를 이해하고 생성할 수 있도록 훈련된 인공지능 모델

주로 GPT(Generative Pre-trained Transformer) 구조를 기반으로 하며, 방대한 텍스트 데이터를 학습하여 문맥을 파악하고 자연스러운 언어로 응답하거나 텍스트 생성 가능

Pre-Training (사전 학습)

LLM은 먼저 대규모 텍스트 데이터(웹, 책, 위키 등)를 이용해 일반적인 언어 패턴을 비지도 학습 방식으로 학습

이 단계에서는 특정한 태스크(task)가 아니라, 문장의 다음 단어 예측 같은 일반적인 언어 모델링 과제를 수행

• 도메인에 독립적인 지식 습득
• 언어 구조, 문법, 상식 등을 넓게 학습
• 학습 데이터가 방대하고, 이 과정이 LLM의 기본 성능을 결정함

Fine-Tune (미세 조정)

사전 학습된 모델을 특정 태스크에 맞게 추가 학습하는 단계

예를 들어, 고객 상담 챗봇을 만들고 싶다면, 상담 관련 데이터셋으로 미세 조정

지도 학습 방식으로 이루어지며, 비교적 적은 양의 데이터로도 가능

• 특정 도메인에 특화된 성능 향상
• 실제 서비스에 적용할 때 필요
• ex: 법률 상담, 의료 진단, 프로그래밍 도우미 등

대표적인 LLM 종류

• OpenAI - GPT
• Anthropic - Claude
• Google DeepMind - Gemini
• Meta - LLaMA