[LLM] 간단하게 보는 대규모 언어 모델(Large Language Model) 이란 무엇인가?

 

[LLM] 간단하게 보는 대규모 언어 모델(Large Language Model) 이란 무엇인가?

대규모 언어 모델(Large Language Model, 이하 LLM)은 대량의 텍스트 데이터를 학습하여 사람처럼 언어를 이해하고 생성할 수 있는 AI 모델입니다. LLM은 간단하게 본다면 크게 사전 학습(pre-training), 미세 조정(fine-tuning), 추론(inference)으로 나뉘어 집니다.

---

LLM의 3단계 동작 원리

1. 사전 학습(pre-training)

방대한 양의 텍스트와 문서등 데이터를 학습하며 언어의 패턴과 구조를 이해하는 과정입니다. 데이터를 학습하며 다음에 올 단어를 예측하는 것을 반복하며, 대규모의 데이터를 확보 및 많은 자원과 시간이 필요한 단계로써 미세 조정을 하기 위한 필수 단계입니다.

 

2. 미세 조정(fine-tuning)

특정 작업(번역, 요약, 코드 작성 등)에 맞춘 모델을 최적화하는 과정으로써 특정 작업의 도메인에 대한 데이터셋으로 추가적인 학습을 하고 더 잘 맞게끔 조정하는 단계입니다.

이 단계에서 강화 학습(RLHF)을 진행되며 이 과정에서 사람이 좋아하는 스타일의 답변을 평가하고 안좋은 답변은 부정적인 보상, 좋은 답변은 긍정적인 보상을 주어 모델을 학습시켜 진행합니다.

Q: “강아지를 기르는 방법을 알려줘.”

A. 나쁜 스타일 (부정적인 보상)
 - 강아지는 Canis lupus familiaris로 분류되며, 수천 년간 인간과 공생해 왔다. 사료 급여, 훈련, 예방 접종 등 복잡한 요소가 포함된다...

B. 좋은 스타일 (긍정적인 보상)
 - 매일 밥 주기
 - 산책하기
 - 예방접종 챙기기

 

3. 추론(Inference)

사용자가 입력한 프롬프트를 기반으로 가장 적절한 단어를 순차적으로 생성하는 과정입니다. 사용자가 프롬프트를 입력하면 학습된 지식을 바탕으로 가장 적절한 단어를 하나씩 만들어내며 답변을 생성합니다. 

추론 과정에서의 특징은 확률적 생성으로 인해 같은 질문을 여러 번 하더라도 매번 조금씩 다른 답변이 나올 수 있으며, temperature, top_p와 같은 하이퍼파라미터를 통해 답변이 더 창의적이거나 일관적인 답변을 만들어 다양성을 조절할 수 있습니다.

※ 하이퍼파라미터(Hyperparameter)란?
LLM이 답변을 생성할 때 출력되는 답변의 성격을 조절할 수 있는 설정 값을 말합니다. 즉. 사용자가 API를 요청할 때 직접 하이퍼파라미터를 지정하여 답변의 성격을 바꿔 원하는 결과를 얻어낼 수 있습니다.

자주 사용되는 대표적인 하이퍼파라미터로 temperature, top_p가 있으며 temperature는 높을수록 창의적인(다양한) 답변, 낮을수록 일관된 답변을 결정합니다. 또한 top_p는 LLM이 예측한 확률을 정렬하고 누적 확률이 P 이하인 토큰만 선택하는 방식으로써 temperature과 동일하게 높을수록 창의적인(다양한) 답변, 낮을수록 일관된 답변을 결정합니다.

 

요약

마지막으로 요약하자면 데이터를 학습하고(사전 학습), 특정 작업에 맞는 데이터셋을 추가로 학습하여 특정 작업에 더 잘 맞게끔 하며(미세 조정), 확률적으로 가장 적절한 단어를 순차적으로 생성(추론) 합니다. 일반적으로 많이 사용하는 GPT, Gemini, Claude 등이 LLM의 대표적인 모델 입니다.

 

---

LLM의 활용 분야와 한계

LLM을 기반으로 다양한 기술들을 활용하여 여러 가지의 분야에 활용하여 사용할 수 있습니다.

1. RAG : 사내 문서 검색 후 답변 생성 등
2. 업무 자동화 : 이메일 작성, 보고서 요약, 회의록 작성 등
3. 코드 생성/보조 : GitHub Copilot, Cursor 등
4. 교육 : 맞춤형 튜터 등
5. 챗봇 & 어시스턴트 : 고객센터, AI 비서 등

또한 현재 아래와 같이 LLM의 본질적인 한계가 존재합니다.

1. 잘못된 정보(Hallucination): 존재하지 않는 사실을 그럴듯하게 생성하여 답변
2. 비용 문제 : 대형 모델일수록 학습 과정에서 생기는 비용이 증가하며 이로 인해 API 비용도 자연스럽게 증가함
3. 데이터 최신성 부족 : 학습 시점 이후의 정보는 알지 못함
4. 투명성 부족 : 모델의 내부 추론 과정이 블랙박스

마지막 투명성 부족의 경우 수천억 개의 파라미터로 구성되어 사람이 직접 해석이 불가능하며, 동일한 입력에서 매번 결과가 조금 씩 달라집니다. 이로 인해 사용자는 최종적인 답변(결과)를 확인할 수 있지만 해당 답변이 어떠한 근거로 만들어졌는지 알 수 없기 때문에 투명성이 부족할 수 있으며 잘못된 정보(Hallucination)가 발생하더라도 원인을 추적하기가 어렵습니다.