콘텐츠로 이동

P6-8.1 목적 맞춤 조정이 필요한 파인튜닝

Section ID: P6-8.1 Version: v2026.07.23

P6-7.1에서는 넓은 언어 기반을 먼저 만드는 사전학습을 보았습니다. 하지만 사전학습만으로는 아직 우리 업무 기준에 맞는 반응이 자동으로 생기지 않습니다. 이 절은 생성 구조 위에 올라간 학습 축이 이제 범용 기반 만들기에서 목적 맞춤 조정으로 어떻게 좁혀지는지 설명합니다.

P6-6.2에서는 생성이 확률 분포에서 다음 토큰을 반복 선택하는 과정이라는 점을 보았습니다. 하지만 실제 서비스에서는 여기서 질문이 하나 더 생깁니다.

사전학습된 큰 모델을 우리 목적에 더 잘 맞게 바꾸려면 어떻게 해야 하는가?

파인튜닝(fine-tuning)은 이미 사전학습된 모델을 특정 과업이나 도메인에 더 잘 맞도록 추가로 조정하는 과정이다.

같은 말을 더 쉽게 바꾸면 다음과 같습니다.

파인튜닝은 이미 언어를 넓게 배운 큰 모델을, 우리 일에 더 맞게 다시 다듬는 단계다.

목적 맞춤 조정이 필요한 순간

목적 맞춤 조정은 다음 질문에서 시작합니다.

  • 파인튜닝은 무엇을 조정하는가?
  • 프롬프트만 바꾸는 것과 파인튜닝은 어떻게 다른가?
  • 어떤 상황에서 파인튜닝이 필요한가?

파인튜닝은 범용 기반을 우리 목적에 더 가깝게 좁히는 조정층입니다. 전체 모델을 다시 조정할 때의 비용 문제는 효율적 조정의 문제이고, 프롬프트, RAG, 도구 사용과의 선택 문제는 입력 설계와 외부 근거 연결의 문제입니다. 이 층위를 분리해야 파인튜닝을 모든 문제의 해결책처럼 읽지 않습니다.

파인튜닝은 모델을 새로 처음부터 만드는 일이 아니라 사전학습 이후의 조정 단계입니다. 사전학습이 넓은 기반을 만드는 단계였다면, 파인튜닝은 그 기반이 우리 분류 기준, 문체, 출력 형식에 더 가까워지도록 반응 습관을 조정합니다.

따라서 여기서 붙잡을 질문은 우리 과업과 형식에 더 맞게 무엇을 조정할까?입니다. 지시 튜닝은 그다음에 사람의 요청 방식에 더 잘 반응하도록 좁히고, 정렬은 안전성과 정책 경계를 더 맞춥니다. 전체 모델을 조정할 비용을 어떻게 줄일지는 P6-8.2의 LoRA에서 따로 봅니다.

모델을 새로 만드는 일이라는 인상은 사전학습된 기반 모델을 우리 목적에 맞게 추가 조정하는 단계로 바꾸어 읽어야 합니다.

프롬프트 조정과 목적 맞춤 조정의 구분

  • 파인튜닝을 사전학습 이후의 추가 조정으로 설명할 수 있습니다.
  • 프롬프트 조정과 파인튜닝의 차이를 말할 수 있습니다.
  • 언제 파인튜닝이 유리하고, 언제 프롬프트나 RAG가 먼저일 수 있는지 구분할 수 있습니다.
  • LoRA 같은 효율적 조정 기법을 파인튜닝 비용을 줄이는 선택지로 읽을 수 있습니다.

이 구분이 중요한 이유는 다음과 같습니다.

  • 사전학습 이후의 실무 연결점을 보여 주고
  • 프롬프트, RAG, 파인튜닝을 서로 다른 선택지로 분리하게 하며
  • P6-8.2의 PEFT(parameter-efficient fine-tuning)와 LoRA 설명의 기반을 만들기 때문입니다

파인튜닝 선택의 판단 기준

파인튜닝은 프롬프트보다 강한 방법이라는 식으로 고를 수 없습니다. 먼저 무엇을 바꾸고 싶은지에 따라 선택 기준을 나누어야 합니다.

판단 기준 확인할 질문
조정 대상 새 모델을 처음부터 만드는 것이 아니라 기반 모델의 반응 습관을 더 목적에 맞게 조정하는가
프롬프트와의 차이 입력 지시를 바꾸는 문제인지, 모델 안쪽 반응 경향을 바꾸는 문제인지 구분되는가
RAG와의 차이 최신 정보 연결 문제인지, 반복되는 판단 기준과 출력 습관 문제인지 구분되는가
업무 기준 내부 라벨, 도메인 표현, 출력 형식이 반복적으로 흔들리는가

파인튜닝은 무엇을 조정하나

사전학습된 모델은 이미 넓은 일반 언어 패턴을 배운 상태입니다. 하지만 실제 업무는 더 구체적입니다.

먼저 다음 세 질문으로 읽으면 이해가 빨라집니다.

질문 짧은 답
이미 있는 모델을 왜 또 조정하는가? 일반 능력만으로는 우리 목적에 덜 맞을 수 있어서
무엇을 더 맞추려는가? 형식, 도메인 용어, 분류 기준, 반응 성향
새로 처음부터 다시 만드는가? 보통은 아니다. 기존 기반 모델 위에서 조정한다

예를 들어:

  • 법률 문서 요약
  • 내부 고객 문의 분류
  • 의료 상담 초안 작성
  • 회사 내부 형식에 맞는 답변 생성

이런 경우에는 일반 모델만으로는 표현 방식, 판단 기준, 도메인 용어가 충분히 맞지 않을 수 있습니다. 파인튜닝은 이런 간극을 줄이기 위해 모델의 가중치(weights)를 추가로 조정합니다.

즉, 파인튜닝은 기반 모델(base model) 위에 특정 목적에 맞는 추가 적응을 얹는 과정입니다.

따라서 파인튜닝의 핵심 질문은 이 모델이 똑똑한가?보다 이 모델이 우리 문제의 기준과 형식에 더 맞는가?에 가깝습니다.

프롬프트와 무엇이 다른가

이 차이는 매우 중요합니다.

방식 무엇을 바꾸는가
프롬프트(prompt) 입력 지시와 맥락
파인튜닝(fine-tuning) 모델 내부 가중치의 일부 또는 전체

프롬프트는 모델 바깥에서 입력을 설계하는 방법입니다. 반면 파인튜닝은 모델 내부 동작 자체를 조금 더 특정 목적에 맞게 조정합니다.

프롬프트는 모델에게 어떻게 말할지를 바꾸고, 파인튜닝은 모델이 반응하는 습관 자체를 더 목적에 맞게 조정한다.

이 둘의 차이는 다음처럼 나눌 수 있습니다.

  • 프롬프트: 모델 바깥에서 지시를 더 잘 적는 방법
  • 파인튜닝: 모델 안쪽 반응 경향을 더 목적에 맞게 조정하는 방법

언제 파인튜닝이 필요한가

모든 문제를 파인튜닝으로 풀 필요는 없습니다. 오히려 다음처럼 먼저 질문해야 합니다.

  • 프롬프트만으로 충분한가?
  • 최신 외부 지식이 필요해서 RAG가 더 적합한가?
  • 결과 형식과 말투, 분류 기준이 매우 일관되게 유지되어야 하는가?

파인튜닝이 특히 고려되는 상황은 다음과 같습니다.

  • 특정 형식의 출력이 자주 반복될 때
  • 도메인 용어와 표현 방식이 강하게 중요할 때
  • 분류나 추출 기준이 내부 정책과 강하게 연결될 때
  • 프롬프트만으로는 안정적 재현성이 부족할 때

이 목록을 더 짧게 줄이면 다음 두 경우가 핵심입니다.

  1. 결과의 형식 일관성이 중요할 때
  2. 결과의 판단 기준이 내부 규칙과 강하게 연결될 때

파인튜닝이 만능은 아니다

이 점도 같이 기억해야 합니다.

파인튜닝이 있다고 해서:

  • 최신 사실 자동 반영
  • 환각 자동 제거
  • 보안 자동 해결

이 되는 것은 아닙니다.

예를 들어 최신 회사 공지나 실시간 정책 변경은 파인튜닝보다 RAG나 별도 데이터 연결이 더 적절할 수 있습니다.

따라서 더 안전한 설명은 다음입니다.

파인튜닝은 특정 반응 성향과 과업 적합성을 높이는 방법이지, 최신성·사실성·안전성 전체를 한 번에 해결하는 방법은 아니다.

이 문장을 실무에서 먼저 잡아야 반응 성향 조정과 최신 정보 연결, 근거 제시, 권한 통제를 같은 문제로 섞지 않게 됩니다. 실제로는 뒤 세 가지가 별도 설계 문제입니다.

파인튜닝이 필요한 조건

여기까지를 가장 짧게 정리하면 다음과 같습니다.

  • 프롬프트는 입력 지시와 맥락을 바꿉니다.
  • 파인튜닝은 모델의 반응 습관과 출력 경향을 더 목적에 맞게 조정합니다.
  • RAG는 최신 정보와 외부 근거 연결 문제를 다룹니다.

이 셋을 구분해야 무엇을 바꾸고 싶은가에 따라 올바른 선택지를 먼저 고를 수 있습니다.

아주 단순하게 그리면

flowchart TD
  A["사전학습 기반 모델"]
  B["과업 또는 도메인 데이터"]
  C["파인튜닝"]
  D["더 목적에 맞는 반응"]

  A --> C
  B --> C
  C --> D

이 도식에서 확인해야 할 결과는 파인튜닝이 새 모델을 처음부터 만드는 일이 아니라, 이미 넓게 학습된 기반 모델을 현재 과업 기준에 맞게 조정하는 과정이라는 점입니다.

이 그림의 읽는 법은 다음처럼 단순합니다.

  • 왼쪽의 기반 모델은 이미 넓게 배운 상태
  • 과업 데이터는 우리 문제의 기준
  • 결과는 더 목적에 맞는 반응

사례 및 예시

아래 도식은 이 절의 세 사례를 모델을 더 똑똑하게 만드는가보다 우리 업무의 형식과 판단 기준에 더 안정적으로 맞추는가라는 공통 질문으로 다시 묶은 것입니다.

flowchart TD
  A["같은 파인튜닝 질문"]
  B["내부 라우팅<br/>라벨 경계가 안정적으로 유지되는가?"]
  C["의료 요약<br/>도메인 용어가 일관되게 유지되는가?"]
  D["법률 초안<br/>출력 구조가 안정적으로 반복되는가?"]

  A --> B
  A --> C
  A --> D

이 도식에서 확인해야 할 점은 파인튜닝의 핵심이 무조건 더 많은 지식을 넣는다가 아니라는 것입니다. 세 장면 모두에서 먼저 중요한 것은 내부 라벨, 도메인 용어, 출력 구조처럼 업무 쪽 규칙을 더 안정적으로 반영하는가입니다.

사례 1. 내부 고객센터 분류

일반 모델은 문의를 대략 분류할 수 있어도, 대충 비슷하게만 나눠도 현장에서는 사람이 다시 보면 되지 않을까라고 생각하기 쉽습니다. 하지만 사람은 실제 운영에서 우리 회사 기준 라벨로 안정적으로 나뉘는지를 먼저 봅니다. 예를 들어 외부 일반 기준에서는 취소와 환불을 비슷하게 다뤄도, 내부 업무에서는 서로 다른 팀으로 보내야 할 수 있습니다. 이 경계가 흔들리면 답변 문장이 자연스러워도 라우팅 자체가 틀어져 처리 시간이 늘어납니다.

여기서 바뀌는 점은 대략 비슷하게 분류되는가를 보던 기준에서 내부 라벨 경계를 안정적으로 지키는가를 보는 기준으로 이동한다는 것입니다. 이런 경우에는 설명을 더 길게 쓰는 것보다 내부 라벨 기준을 더 강하게 반영하도록 모델 반응을 조정하는 편이 중요해집니다. 그래서 이 사례에서 확인해야 할 결과는 비슷한 문의가 내부 라벨 기준에 따라 같은 팀으로 더 안정적으로 들어가는가, 그리고 사람이 후처리로 계속 메워야 하는 흔들림이 실제로 줄어드는가입니다.

사례 2. 의료 문서 요약

일반 요약은 가능해도, 의료 문서에서는 짧게 줄이기만 잘하면 좋은 요약 아닌가라고 느끼기 쉽습니다. 하지만 사람은 의료 문서에서는 짧게 줄였는가보다 어떤 용어를 반드시 남기고 어떤 표현을 같은 방식으로 유지하는가를 먼저 봅니다. 예를 들어 약물명, 용량, 금기 표현을 항상 같은 방식으로 남겨야 하는데 일반 모델이 이를 매번 다르게 줄이면, 길이는 맞아도 실무 품질은 크게 흔들릴 수 있습니다. 심하면 같은 처방 내용을 요약마다 다른 표현으로 바꿔 검토자가 다시 원문을 대조해야 할 수도 있습니다.

여기서 바뀌는 점은 길이를 잘 줄였는가를 보던 기준에서 도메인 핵심 용어와 표현 규칙을 일관되게 유지하는가를 보는 기준으로 이동한다는 것입니다. 이런 장면에서는 최신 지식을 더 넣는 문제보다, 도메인 문체와 축약 규칙을 더 안정적으로 반영하는 조정이 중요해집니다. 그래서 이 사례에서 확인해야 할 결과는 약물명, 용량, 금기 표현이 요약마다 같은 방식으로 유지되는가, 그리고 검토자가 표현 흔들림 때문에 원문을 다시 대조하는 일이 실제로 줄어드는가입니다.

사례 3. 법률 초안 형식

단순 정보 생성이 아니라 문서 형식과 표현 규칙이 중요할 때는, 내용만 맞는가를 먼저 보게 되기 쉽습니다. 프롬프트만으로도 어느 정도 형식을 유도할 수 있지만, 초안마다 조항 번호 방식, 단서 문구, 책임 한정 표현이 달라지면 검토 비용이 빠르게 커집니다. 예를 들어 같은 계약 초안인데 어떤 답은 제1조, 어떤 답은 1.로 시작하고 면책 문구 위치도 흔들리면, 내용 검토 전에 형식 교정부터 다시 해야 합니다.

여기서 바뀌는 점은 사실 내용만 맞는가를 보던 기준에서 같은 문체와 출력 구조를 반복해서 유지하는가를 보는 기준으로 이동한다는 것입니다. 이런 경우에는 새로운 사실을 찾는 문제보다 항상 같은 초안 습관을 만드는 조정이 더 중요합니다. 그래서 이 사례에서 확인해야 할 결과는 조항 번호, 면책 문구, 단서 표현 위치가 초안마다 크게 흔들리지 않는가, 그리고 검토자의 형식 교정 부담이 실제로 줄어드는가입니다.

세 사례를 목적 적응 관점으로 다시 묶으면 다음과 같습니다.

상황 일반 모델로는 흔들리기 쉬운 것 파인튜닝으로 더 안정화하려는 것
내부 고객센터 분류 내부 라벨 경계와 라우팅 기준 팀별 분류 경계 유지
의료 문서 요약 약물명, 용량, 금기 표현의 일관성 도메인 용어와 요약 형식 유지
법률 초안 형식 조항 번호, 단서, 면책 위치 반복성 문체와 출력 구조 재현성

파인튜닝 판단이 필요한 장면

이 절을 읽은 뒤에는 아직 LoRA나 PEFT 세부를 다 몰라도, 지금 필요한 것이 프롬프트 조정인가, 파인튜닝인가, 최신 정보 연결인가를 먼저 가르는 연습을 할 수 있습니다. 같은 문의가 내부 라벨 경계를 자주 넘나들며 다른 팀으로 간다면, 설명을 더 길게 쓰게 하는 문제보다 내부 판단 기준을 더 안정적으로 반영하는 파인튜닝이 필요한지 봐야 합니다. 같은 도메인 답변인데 요청마다 말투와 문체가 조금씩 흔들린다면, 문체 규칙을 매번 프롬프트에 길게 넣는 것보다 지속적인 반응 습관 적응이 필요한지 물어야 합니다. 최신 공지와 정책 수치만 자주 틀린다면, 파인튜닝보다 RAG나 외부 데이터 연결 문제가 먼저일 수 있습니다. 출력 형식은 대체로 맞고 첫 문장 말투만 조금 조정하면 충분하다면, 모델 안쪽 조정보다 프롬프트 설계가 더 낮은 비용의 선택입니다.

여기서 중요한 것은 파인튜닝이 더 강한 방법이라고 외우는 일이 아니라, 먼저 무엇을 바꾸고 싶은가를 입력 지시, 모델 반응 습관, 외부 정보 연결로 나눠 읽는 일입니다.

여기서 자주 섞이는 것도 다음과 같습니다.

  • 내부 반응 습관 조정과 최신 정보 연결을 같은 문제로 보기 쉽습니다.
  • 프롬프트로 충분한 장면과 파인튜닝이 필요한 장면을 구분하지 못하기 쉽습니다.
  • 파인튜닝을 모델을 새로 만드는 일처럼 느끼기 쉽습니다.

따라서 파인튜닝은 목적 맞춤 조정층이라는 문장은 실제 선택 기준이 되어야 합니다.

연습

이 연습의 목표는 코드를 실행하는 것이 아니라, 같은 업무 장면을 보고 프롬프트 조정, 파인튜닝, RAG 중 무엇을 먼저 의심해야 하는지 가르는 것입니다. 파인튜닝은 모델이 더 많은 사실을 외우게 하는 선택이 아니라, 반복되는 반응 습관과 내부 기준을 더 안정적으로 맞추려는 선택입니다.

다음 문의 처리 장면을 봅니다.

장면 흔들리는 부분 먼저 고를 선택
같은 결제 문의가 어떤 날은 refund_request, 어떤 날은 cancel_status로 분류된다 내부 라벨 경계 파인튜닝 검토
답변 형식은 맞지만 이번 달 환불 정책 금액을 자주 틀린다 최신 정책 정보 RAG 또는 외부 데이터 연결 검토
출력 형식은 대부분 맞는데 첫 문장 말투만 조금 딱딱하다 입력 지시와 문체 프롬프트 조정 검토
의료 요약에서 약물명, 용량, 금기 표현의 남기는 방식이 매번 다르다 도메인 표현 규칙 파인튜닝 검토

여기서 파인튜닝을 먼저 검토할 장면은 첫 번째와 네 번째입니다. 두 장면 모두 단일 질문 하나의 표현 문제가 아니라, 여러 입력에서 같은 내부 기준이나 표현 규칙을 반복해서 지켜야 하는 문제이기 때문입니다.

두 번째 장면은 최신 정책 정보가 문제입니다. 이런 경우 파인튜닝을 해도 학습 시점 이후의 변경을 자동으로 따라가지 못할 수 있으므로, RAG나 외부 데이터 연결을 먼저 검토하는 편이 자연스럽습니다.

세 번째 장면은 모델 내부 습관을 바꾸기보다 입력 지시만 조정해도 해결될 가능성이 큽니다. 이때는 파인튜닝을 먼저 떠올리기보다 프롬프트를 더 짧고 분명하게 고치는 쪽이 비용과 위험이 낮습니다.

이 연습에서 붙잡을 기준은 다음입니다.

  • 내부 라벨 경계가 반복해서 흔들리면 파인튜닝 후보입니다.
  • 최신 사실이나 정책 값이 틀리면 RAG나 외부 정보 연결 후보입니다.
  • 한두 문장의 말투나 형식만 흔들리면 프롬프트 조정 후보입니다.
  • 도메인 표현 규칙이 반복적으로 흔들리면 파인튜닝 후보입니다.

즉, 파인튜닝은 종종 정답을 새로 만들어 내는 힘보다 반응 방식을 업무 형태에 더 맞추는 힘으로 이해하는 편이 안전합니다.

파인튜닝은 LLM 이전에도 널리 쓰이던 전이 학습(transfer learning) 흐름과 연결됩니다. 큰 기반 모델을 먼저 만들고, 이후 더 작은 과업 데이터로 목적 적합성을 높이는 방식은 현대 NLP와 비전에서 반복되어 왔습니다.

따라서 파인튜닝은 LLM 시대에 갑자기 생긴 낯선 발명이라기보다, 큰 기반을 만들고 나중에 목적별로 적응시키는 흐름이 더 널리 보이게 된 결과로 이해하면 좋습니다.

체크리스트

  • 파인튜닝을 범용 기반 위에 목적 맞춤 조정을 얹는 단계로 설명할 수 있는가?
  • 프롬프트, 파인튜닝, RAG가 각각 무엇을 바꾸는지 구분할 수 있는가?
  • 효율적 조정 설명을 파인튜닝이 필요할 때 그 비용을 어떻게 줄일 것인가의 문제로 읽을 준비가 되었는가?

출처와 참고 자료