뜻: 분류 경계와 그 경계에 가장 가까운 데이터 사례들 사이에 남는 여유 폭입니다. 경계 기반 분류에서는 여러 경계 후보 중 가장 가까운 점들과의 최소 간격을 크게 만드는 기준으로 읽습니다.
왜 중요한가: 같은 데이터를 나누는 경계가 여러 개일 때, 단순히 나눌 수 있다는 사실만으로는 어떤 경계가 더 안정적인지 알기 어렵습니다. 마진을 보면 경계가 한쪽 class에 너무 붙어 있는지, 작은 흔들림에도 prediction이 쉽게 바뀔 위험이 있는지 판단할 수 있습니다.
함께 볼 개념: 결정 경계(decision boundary), 분류(classification), 하이퍼파라미터(hyperparameter)
뜻: 언어 모델이나 임베딩을 학습하고 분석하기 위해 모아 둔 텍스트 자료의 집합입니다. 단순히 문서를 많이 모은 더미가 아니라, 어떤 언어 사용을 대표한다고 보고 학습 재료로 삼을지 선택한 텍스트 묶음이라고 볼 수 있습니다. 그래서 말뭉치는 양만이 아니라 도메인, 시기, 언어 스타일, 정제 방식까지 함께 가진 학습 기반입니다.
왜 중요한가: 언어 모델은 사전 뜻이 아니라 실제 사용된 문맥 분포를 바탕으로 확률과 표현을 배우므로, 어떤 말뭉치를 보았는지가 모델의 한계와 강점을 크게 좌우하기 때문입니다. 이 개념이 있어야 모델 성능 차이를 구조 차이만이 아니라 학습 자료의 범위, 편향, 최신성 차이로도 읽게 되고, 무엇을 배웠는가를 묻는 질문이 곧 무엇을 읽고 학습했는가를 묻는 질문과 연결된다는 점을 이해하게 됩니다. 예를 들어 뉴스 중심 말뭉치와 대화 중심 말뭉치는 어휘 분포와 문체, 최신성, 안전성 문제가 다르므로, 같은 구조의 모델도 전혀 다른 성향을 보일 수 있습니다.
함께 볼 개념: 언어 모델(language model), 데이터(data), 임베딩(embedding)
뜻: 데이터나 경험을 사용해 모델의 성능을 개선하는 접근입니다. 사람이 규칙을 낱낱이 직접 적기보다, 예시와 피드백을 바탕으로 더 나은 예측이나 판단 방식을 찾게 만드는 방법이라고 볼 수 있습니다. 즉 머신러닝은 규칙을 써 넣는 일보다 데이터를 통해 규칙을 조정하게 만드는 일에 더 가깝습니다.
왜 중요한가: 사람이 모든 규칙을 직접 쓰기 어려운 문제에서 중심 설명이 학습 기반으로 이동하는 이유를 이해하게 해 주기 때문입니다. 이 개념이 있어야 AI가 똑똑하다는 인상을 넘어서, 실제로는 데이터에서 반복 패턴을 조정해 가는 모델 개선 절차라는 점을 붙잡을 수 있습니다. 또한 머신러닝은 정답을 외운다보다 새 사례에도 통할 규칙을 찾는다는 문제 설정이라는 점을 분명히 해, 일반화와 평가 개념으로 자연스럽게 이어지게 합니다. 결국 머신러닝을 이해해야 AI를 마법 같은 답변기가 아니라 데이터 기반 모델 개선 방식으로 읽게 됩니다.
함께 볼 개념: 모델(model), 모델 훈련(model training), 파라미터(parameter)
중심 Section: P1-3.2
등장 Section: P1-1.3, P4-1.1, P4-index, P1-2.3, P4-1.2, P4-2.1
뜻: 고차원 공간 안에서 데이터가 실제로는 더 낮거나 부드러운 구조를 따라 놓여 있다고 볼 때 쓰는 수학적 표현입니다. AI 입문에서는 데이터를 임의로 흩어진 점들이 아니라, 어떤 구조를 가진 표현들의 모임으로 볼 수 있다는 정도로 먼저 이해합니다. 즉 매니폴드는 개별 벡터 하나보다 데이터 표현들이 이루는 전체 모양을 말할 때 등장합니다.
왜 중요한가: 표현 학습과 임베딩 설명에서 데이터 구조가 단순 좌표 목록 이상일 수 있다는 관점을 제공하기 때문입니다. 다만 초심자 원고에서는 매니폴드 학습을 자세히 전개하지 않고, 벡터 위치와 위상처럼 더 깊은 공간 구조 표현을 구분하는 용어로 남깁니다. 이 개념이 있어야 공간이라는 말을 모두 2차원 그림으로만 상상하지 않게 됩니다.
함께 볼 개념: 위상(topology), 벡터 공간(vector space), 표현 학습(representation learning)
뜻: 문서 검색과 자료 관리에서 본문 자체가 아니라 제목, 날짜, 출처, 권한, 문서 종류처럼 그 문서를 설명하는 부가 정보입니다. 일반적인 부가 설명 전체가 아니라, 검색·필터링·출처 추적에서 자료를 어떻게 읽고 다뤄야 하는지 알려 주는 설명 표지입니다. 예를 들어 같은 내용 요약이라도 작성 시점, 저자, 공개 범위, 원문 위치가 다르면 문서를 쓰는 방식과 신뢰 판단도 함께 달라집니다.
왜 중요한가: 벡터가 가까워 보여도 최신 문서인지, 접근 권한이 있는지, 어떤 자료 유형인지 함께 봐야 실제 검색 품질과 운영 품질이 올라가기 때문입니다. 이 개념이 있어야 검색이 본문 의미 비교만으로 끝나지 않고, 필터링과 정렬, 접근 제어가 함께 작동해야 한다는 점을 이해하게 됩니다. 또한 메타데이터를 알아야 비슷한 문서와 지금 써도 되는 문서를 구분하게 되고, 최신성 확인과 출처 추적도 더 체계적으로 연결됩니다.
함께 볼 개념: 벡터 데이터베이스(vector database), 검색 인덱스(search index), 출처 추적(provenance)
중심 Section: P1-13.4
등장 Section: P1-13.2, P1-14.1, P6-12.2, P6-13.1, P6-13.2
뜻: 문제 유형, 데이터 상태, 설명 가능성, 계산 비용을 함께 보고 먼저 비교할 모델 후보를 좁히는 과정입니다. 한 번에 정답 모델을 맞히는 일이 아니라, 현재 과제에 맞는 후보군을 합리적으로 줄여 실험 순서를 세우는 판단 단계에 가깝습니다. 즉 모델 선택은 학습 버튼을 누르기 전부터 시작되는 설계 판단이며, 어떤 모델 계열을 왜 후보에 올렸는지 설명할 수 있어야 하는 과정입니다.
왜 중요한가: 유명한 알고리즘 이름을 고르는 일보다, 어떤 문제에서 어느 모델 서랍을 먼저 열어야 하는지 정하는 판단이 더 앞서기 때문입니다. 이 단계가 있어야 데이터 양이 적은데도 과하게 무거운 모델로 바로 가거나, 설명 가능성이 중요한데도 해석이 어려운 모델부터 쓰는 식의 어긋난 출발을 줄일 수 있습니다. 결국 모델 선택은 무엇을 학습시킬 수 있는가보다 지금 조건에서 무엇부터 시험하는 것이 타당한가를 정리하는 기초 판단입니다.
함께 볼 개념: 문제 정의(task definition), 기준선(baseline), 평가 지표(metric)
뜻: AI 앱이 외부 도구, 리소스, 프롬프트와 공통 방식으로 연결되게 하려는 공개 프로토콜입니다. 핵심은 모델 자체를 바꾸는 기술이 아니라, 바깥 기능을 더 표준화된 방식으로 발견하고 연결하는 인터페이스 규칙이며, 서로 다른 시스템이 무엇을 제공하는지, 어떻게 요청하는지를 같은 틀로 맞추려는 약속에 가깝습니다. 즉 MCP는 모델이 더 똑똑해지는 기술보다 모델 주변 연결을 더 일관되게 만드는 규칙 쪽에 가깝습니다.
왜 중요한가: AI 에이전트나 AI 앱이 여러 외부 시스템을 제각각 붙이는 대신, 발견과 호출 방식을 더 일관되게 만들 수 있기 때문입니다. 이 표준화가 있어야 앱, 호스트, 클라이언트, 서버, 도구, 리소스의 경계를 더 명확히 설명할 수 있고, 연결 구조를 바꾸더라도 전체 오케스트레이션을 덜 제각각 설계하게 됩니다. 결국 MCP를 이해해야 AI 에이전트 시스템의 핵심 문제가 모델 성능만이 아니라, 바깥 기능과 정보를 어떤 규칙으로 연결하느냐에도 있다는 점을 읽게 됩니다.
함께 볼 개념: 에이전트 도구 사용(tool use), AI 에이전트(AI agent), 신뢰 경계(trust boundary)
뜻: 현실 전체를 그대로 복사한 것이 아니라 목적에 맞게 줄여 만든 계산용 모형입니다. AI 문맥에서는 특히 입력을 받아 예측, 분류, 생성, 판단 같은 출력을 만드는 학습된 계산 구조를 뜻하지만, 서비스 전체나 앱 전체와 같은 말은 아닙니다.
왜 중요한가: 모델을 사람처럼 모든 일을 알아서 처리하는 존재로 보지 않고, 무엇을 입력으로 받아 어떤 출력을 만들며 서비스 안에서 어디까지 맡는지 구분하는 출발점이 되기 때문입니다. 이 구분이 잡혀야 모델 자체의 한계와 시스템 설계의 책임을 섞지 않게 됩니다. 이 개념이 있어야 좋은 모델을 고른다는 말이 곧바로 좋은 제품이 된다는 뜻이 아니라는 점도 분명해지고, 입력 설계, 근거 연결, 검토 절차, 권한 통제가 왜 여전히 별도 과제로 남는지 더 자연스럽게 이해하게 됩니다. 다시 말해 모델은 시스템의 핵심 부품일 수는 있어도, 시스템 전체와 같은 말은 아니라는 점이 중요합니다.
함께 볼 개념: 모델 입력 정의(model input), 모델 출력 정의(model output), 파라미터(parameter)
뜻: 모델이 실제로 받을 정보의 범위와 모양을 정하는 일입니다. 원천데이터 전체가 아니라, 현재 한 번의 계산에서 모델에게 실제로 보여 주는 값 묶음이라고 보는 편이 더 정확합니다. 즉 입력은 바깥 현실 전체가 아니라, 그 현실에서 잘라 내어 이번 계산 안으로 들여온 관찰값입니다.
왜 중요한가: 모델이 무엇을 근거로 판단할 수 있는지는 어떤 입력을 보여 주는지에 달려 있습니다. 같은 현실 문제도 입력을 어떻게 자르느냐에 따라 모델이 볼 수 있는 단서와 한계가 크게 달라집니다. 이 개념이 있어야 원래 데이터에 정보가 있다는 사실과 모델이 실제로 그 정보를 받는다는 사실을 구분하게 되고, 전처리와 특징 설계가 왜 성능에 직접 영향을 주는지도 더 분명히 이해하게 됩니다. 또한 입력을 이해해야 성능 문제를 모델이 부족하다보다 모델이 애초에 무엇을 보았는가의 질문으로 다시 점검하게 됩니다.
함께 볼 개념: 모델 출력 정의(model output), 데이터(data), 모델(model), 특징(feature), 문제 정의(task definition)
중심 Section: P1-4.2
등장 Section: P1-4.1, P4-index, P3-5.3, P3-5.4, P4-4.1
뜻: 모델이 내야 하는 결과의 범위와 형식을 정하는 일입니다. 숫자 하나일 수도 있고, 범주 하나일 수도 있고, 문장·리포트·후보 목록처럼 더 복잡한 형식일 수도 있습니다. 핵심은 출력이 단순히 마지막에 보이는 답이 아니라, 문제를 어떤 형태로 풀기로 했는지 드러내는 설계 선택이라는 점입니다.
왜 중요한가: 같은 현실 문제도 어떤 출력을 정의하느냐에 따라 전혀 다른 모델링 과제가 되기 때문입니다. 결국 문제 정의는 무엇을 입력으로 보고 무엇을 출력으로 받을 것인가를 정하는 일과 거의 같은 의미가 됩니다. 이 개념이 있어야 같은 데이터를 두고도 분류, 회귀, 요약, 추천, 비교 리포트 생성처럼 전혀 다른 과업이 생길 수 있다는 점을 이해하게 되고, 평가 기준도 출력 정의에 따라 함께 바뀐다는 점이 더 분명해집니다. 예를 들어 고객 문의 데이터를 두고도 카테고리 하나를 고르는가, 답변 초안을 쓰는가, 우선 검토할 후보 목록을 만드는가에 따라 필요한 모델과 검토 절차는 완전히 달라집니다. 결국 출력을 이해해야 모델 성능 논의보다 먼저 우리가 무엇을 결과로 받을 것인가를 설계해야 한다는 점을 붙잡게 됩니다.
함께 볼 개념: 모델 입력 정의(model input), 지도학습 라벨(supervised learning label), 모델(model), 모델링 출력 구조(output structure), 문제 정의(task definition)
뜻: 과거 사례와 손실 신호를 사용해 모델 내부 기준과 값을 조정하는 절차입니다. 넓은 의미의 학습(learning)이 경험 뒤 성능이 나아지는 현상이라면, 모델 훈련은 그 변화를 만들기 위해 데이터를 넣고 손실을 계산하고 파라미터를 업데이트하는 실행 과정에 가깝습니다.
왜 중요한가: 한국어 학습이 learning과 training을 함께 번역하는 경우가 많아, 성능 개선이라는 넓은 뜻과 내부 값 조정 절차라는 좁은 뜻을 구분해 읽어야 하기 때문입니다. 이 차이를 알아야 모델이 학습했다는 말을 막연한 지능 향상으로 읽지 않고, 어떤 데이터와 손실을 기준으로 어떤 내부 값이 조정되었는지까지 더 구체적으로 생각할 수 있습니다. 또한 모델 훈련은 한 번의 계산이 아니라 손실 계산, 그래디언트 계산, 파라미터 업데이트가 반복되는 과정이며, 규모가 커지면 이 반복을 여러 계산 자원에 나누어 운영하는 문제도 함께 생깁니다.
함께 볼 개념: 파라미터(parameter), 모델(model), 일반화(generalization), 추론(inference)
뜻: 여러 모델 설정이나 전처리 선택을 비교 점검하기 위해 학습 과정 중간에 따로 확인하는 데이터 또는 절차입니다. 학습 자체를 위한 데이터와, 모델 선택을 위한 확인 단계를 분리해 두는 역할을 맡습니다.
왜 중요한가: 학습에 직접 쓴 데이터만으로 판단하면 과적합을 놓치기 쉬워, 설정을 고르는 단계와 마지막 테스트 단계를 분리해 읽어야 하기 때문입니다. 그래서 모델 검증은 모델을 고르는 자리에 더 가깝고, 테스트는 최종 확인 자리에 더 가깝습니다. 이 개념이 있어야 학습 도중 점수를 계속 보는 일이 곧 정답 유출은 아니라는 점과, 반대로 검증 점수에 맞춰 지나치게 반복 조정하면 또 다른 과적합이 생길 수 있다는 점도 함께 이해하게 됩니다. 또한 모델 검증은 한 번만 보는 의식이 아니라, 하이퍼파라미터와 전처리 선택을 비교하는 반복 판단 지점이라는 점도 붙잡게 됩니다.
함께 볼 개념: 테스트 데이터(test data), 데이터 누수(data leakage), 일반화(generalization), 평가 지표(metric)
뜻: 넓은 현실 목표를 모델이 실제로 풀 수 있는 입력과 출력의 계산 문제로 좁힌 형태입니다. 고객 문의를 더 잘 처리한다 같은 목표를 문의 문장을 입력으로 받아 문의 유형을 분류한다처럼 모델이 맡을 수 있는 과제로 바꾸어 놓은 결과라고 볼 수 있습니다.
왜 중요한가: 같은 현실 목표도 분류, 회귀, 추천, 생성처럼 서로 다른 과제로 갈라질 수 있기 때문입니다. 모델링 과제가 분명해야 필요한 데이터, 라벨 기준, 평가 지표, 모델 후보가 함께 정해집니다. 이 개념이 있어야 모델 이름을 먼저 고르기보다, 무엇을 입력으로 보고 무엇을 출력으로 만들지 먼저 고정하는 습관을 갖게 됩니다.
함께 볼 개념: 문제 정의(task definition), 모델 출력 정의(model output), 평가 지표(metric), 모델 선택(model selection)
뜻: 계산 결과를 비교용 결과, 검토 후보 큐, 목표 라벨 후보처럼 어떤 형식의 문제 결과로 내보낼지 정한 설계상의 결과 틀입니다. 일반적인 출력 형식 전체가 아니라, 정답이 무엇인가와 그 결과를 어떤 그릇에 담아 누가 다음에 쓸 것인가를 함께 정하는 모델링 층위입니다.
왜 중요한가: 같은 원천데이터라도 결과를 무엇이 달라졌는지 보여 주는 비교용 결과로 끝낼지, 사람이 먼저 볼 대상을 고르는 검토 구조로 바꿀지, 나중에 학습할 목표 후보로 올릴지에 따라 데이터셋 설계 전체가 달라지기 때문입니다. 모델 출력 구조를 먼저 정해야 검토 절차와 자동화 단계도 함께 설계할 수 있습니다. 이 개념이 있어야 무슨 답을 낼 것인가와 그 답을 어떤 작업 흐름에 맞는 형식으로 내보낼 것인가를 분리해 생각하게 됩니다.
함께 볼 개념: 모델 평가 설계(evaluation design), 타깃(target), 샘플 단위(sample unit), 문제 정의(task definition)
뜻: 우리가 알고 싶어 하는 전체 대상입니다. 실제로 손에 든 데이터 몇 건이 아니라, 그 데이터가 대표한다고 가정하는 더 넓은 전체 집합이라고 볼 수 있습니다. 즉 모집단은 지금 측정한 표본이 아니라, 그 표본이 대신 말해 주길 기대하는 바깥 전체입니다.
왜 중요한가: 표본이 무엇의 일부인지 분명히 해야 추정과 오차를 올바르게 읽을 수 있기 때문입니다. 이 개념이 있어야 손에 쥔 데이터셋이 전체 현실이 아니라 그 일부 관측이라는 점을 놓치지 않게 되고, 표본에서 얻은 평균과 분포를 왜 곧바로 전체 사실로 단정하면 안 되는지도 자연스럽게 이해하게 됩니다. 결국 모집단을 먼저 정해야 무엇에 대해 말하고 있는가가 분명해지고, 평가 결과를 어디까지 일반화할 수 있는지도 더 조심해서 읽게 됩니다. AI 데이터셋을 볼 때도 이 데이터가 어떤 현실 전체를 대표한다고 보는가를 먼저 묻는 습관과 연결됩니다.
뜻: 학습이나 최적화 과정이 실제로 줄이거나 키우려는 전체 기준입니다. 한 샘플의 오차만이 아니라, 여러 샘플의 평균 손실, 정규화 벌점, 제약 조건까지 묶어 결국 무엇을 더 좋다고 볼 것인가를 정한 전체 목표식이라고 볼 수 있습니다. 따라서 목적 함수는 모델이 따를 최종 채점표에 가깝고, 손실 함수는 그 안의 핵심 구성요소일 수 있습니다.
왜 중요한가: 모델은 막연히 잘 맞추는 쪽으로 움직이는 것이 아니라, 목적 함수가 정의한 방향으로만 조정되기 때문입니다. 이 개념이 있어야 손실 함수, 정규화, 제약 반영이 한데 묶여 실제 학습 목표를 만든다는 점을 이해하게 되고, 정확도가 높다는 평가와 학습 중 무엇을 직접 줄였는가가 항상 같은 말은 아니라는 점도 더 분명히 읽게 됩니다. 결국 목적 함수를 어떻게 설계하느냐에 따라 모델이 선호하는 해와 감수하는 오차 유형도 함께 달라집니다. 다시 말해 목적 함수는 모델이 무엇을 잘한 것으로 배울지를 가장 넓은 층위에서 정하는 규칙입니다.
함께 볼 개념: 손실 함수(loss function), 최적화(optimization), 평가 지표(metric)
뜻: 모델 가중치를 업데이트하지 않고도, 프롬프트 안의 지시와 예시 문맥만으로 출력 행동이 달라지는 현상 또는 사용 방식입니다. 즉 모델 본체를 다시 학습시키지 않은 채, 이번 입력 안에 담긴 설명과 사례를 임시 작업 맥락으로 삼아 답변 방식을 바꾸는 접근이라고 볼 수 있습니다. 말하자면 모델을 다시 훈련한다보다 이번 입력 안에서 잠깐 적응하게 만든다에 가까운 방식입니다.
왜 중요한가: 오늘날 LLM 사용 경험에서 자연어 설명과 입력 안의 예시가 왜 중요한지 보여 주며, fine-tuning과 다른 적용 방식을 구분하게 해 주기 때문입니다. 이 개념이 있어야 모델을 바꾼 것과 입력을 더 잘 설계한 것을 섞지 않게 되고, 프롬프트 설계가 실제로 어떤 범위까지 성능을 바꿀 수 있는지도 더 현실적으로 이해할 수 있습니다. 결국 문맥 내 학습을 이해해야 LLM 성능 개선이 항상 추가 학습을 뜻하는 것은 아니며, 입력 설계만으로도 행동이 크게 달라질 수 있다는 점을 읽게 됩니다.
함께 볼 개념: 프롬프트(prompt), 사전학습(pretraining), 미세조정(fine-tuning), 프롬프트 구조화(prompt structuring)
뜻: 모델이 한 번의 입력-출력 계산 동안 함께 유지하며 참고할 수 있는 최대 토큰 범위입니다. 쉽게 말해 이번 응답을 만들 때 모델이 한 번에 볼 수 있는 작업 메모의 크기에 해당합니다. 즉 문맥 창은 기억력이 무한한지 여부가 아니라, 한 번의 계산 안에 몇 토큰까지 실을 수 있는지를 정하는 한계입니다.
왜 중요한가: 긴 문서, 긴 대화, 검색 결과 결합에서 무엇을 한 번에 넣고 무엇을 잘라 내야 하는지, 그리고 비용과 지연 시간이 어디서 커지는지를 판단하는 직접 기준이 되기 때문입니다. 문맥 창이 크다고 해서 자동으로 이해가 깊어지는 것은 아니므로, 실제 실무에서는 얼마나 많이 넣을 수 있는가와 무엇을 우선 넣어야 하는가를 함께 판단해야 합니다. 또한 문맥 창을 이해해야 긴 입력 처리가 단순 스펙 경쟁이 아니라, 선택과 요약과 검색 전략이 함께 걸린 설계 문제라는 점도 읽게 됩니다.
함께 볼 개념: 토큰(token), 토큰화(tokenization), 검색 증강 생성(retrieval-augmented generation, RAG)
뜻: 같은 단어나 토큰이라도 주변 문맥에 따라 달라지는 내부 벡터 표현입니다. 즉 bank처럼 같은 표면형이라도 금융기관인지 강둑인지에 따라 모델 내부에서 다른 위치와 관계로 표현되는 방식이라고 이해할 수 있습니다. 다시 말해 문맥적 표현은 단어가 고정 뜻 하나를 갖는다고 보지 않고, 현재 문장 안에서의 역할까지 반영해 바뀌는 표현입니다.
왜 중요한가: 정적 임베딩을 넘어 실제 언어에서 같은 표면형이 다른 역할과 뜻을 가질 수 있음을 모델이 반영하는 핵심 전환이기 때문입니다. 이 개념이 있어야 LLM이 단어 목록을 외우는 것이 아니라, 주변 문장 안에서 역할을 다시 해석하며 표현을 만든다는 점을 더 분명히 이해할 수 있습니다. 또한 문맥적 표현을 이해해야 같은 단어인데 왜 다른 벡터가 나오지를 오류가 아니라 문장 해석의 자연스러운 결과로 읽게 됩니다.
함께 볼 개념: 임베딩(embedding), 인코더(encoder), 언어 모델(language model)
뜻: 현실 목표를 모델이 실제로 풀 수 있는 입력, 출력, 데이터, 평가 기준의 형태로 좁혀 정하는 일입니다. 막연한 업무 목표를 계산 가능한 과업으로 번역하는 단계라고 볼 수 있습니다. Part 7의 프로젝트 문맥에서는 질문 한 문장, 입력 단위, 비교 기준을 고정해 이번 문서가 정확히 무엇을 풀려고 하는가를 먼저 닫는 작업이라고 이해하면 됩니다.
왜 중요한가: 같은 목표도 어떤 출력을 시키는지에 따라 필요한 데이터, 모델 후보, 평가 방식이 함께 달라지므로, 모델 선택보다 먼저 흔들리지 않는 과제 경계를 세워야 하기 때문입니다. 이 단계가 불분명하면 뒤의 데이터셋, 라벨, 평가 숫자도 의미를 잃기 쉽습니다. 이 개념이 있어야 문서를 잘 이해하게 하고 싶다 같은 넓은 바람을 분류할 것인가, 검색할 것인가, 요약할 것인가, 추천할 것인가 같은 구체 과업으로 나누어 생각하게 되고, 결국 무엇을 성공으로 볼지도 더 분명해집니다. 또한 문제 정의를 이해해야 Part 7의 분석 시작이 요약표나 비교표보다 앞서 무엇을 한 건의 입력으로 보고 어떤 질문에 답할 것인가를 먼저 고정하는 이유도 더 또렷하게 읽게 됩니다.
함께 볼 개념: 모델(model), 모델 입력 정의(model input), 모델 출력 정의(model output), 데이터셋(dataset), 평가 지표(metric)
중심 Section: P1-4.4
등장 Section: P3-1.1, P3-2.2, P7-index, P7-1.1, P7-summary
뜻: 입력을 아주 조금 바꿨을 때 출력이 얼마나 변하는지 나타내는 순간 변화율입니다. 평균 변화율을 매우 작은 구간으로 좁혀 갔을 때의 한계라고 볼 수 있어, 지금 이 지점에서 얼마나 민감하게 변하는가를 읽는 도구입니다. 여기서 derivative는 한 지점의 미분계수나 지점별 변화율을 알려 주는 도함수와 연결되고, differentiation은 그런 변화율을 구하는 과정으로 구분해 읽을 수 있습니다. 즉 미분은 함수 값을 한 점에서 멈춰 보는 대신, 그 점 주변에서 변화가 어느 방향으로 얼마나 급한지 묻는 방식입니다.
왜 중요한가: 손실이 어느 방향으로 얼마나 변하는지 읽고, 그래디언트와 학습 연결을 이해하는 출발점이 되기 때문입니다. 이 개념이 있어야 경사하강법이 단순 반복 계산이 아니라, 변화율 정보를 이용해 손실을 줄이는 방향을 찾는 과정이라는 점을 이해하게 됩니다. 또한 미분은 값이 얼마인가보다 지금 이 주변에서 어떻게 바뀌는가를 묻는 질문이라는 점을 분명히 해 주어, 함수 해석과 최적화 감각을 함께 붙잡게 합니다. 결국 미분을 이해해야 학습이 정답 값을 계산하는 일보다 변화 방향을 읽는 일과 더 가깝다는 점을 읽게 됩니다.
함께 볼 개념: 변화율(rate of change), 그래디언트(gradient), 편미분(partial derivative)
중심 Section: P2-4.3
등장 Section: P2-4.1, P2-4.2, P2-4.4, P2-4.5, P2-4.6, P2-6.1, P2-6.3
뜻: 사전학습된 모델을 특정 과업이나 도메인 데이터에 맞게 추가로 조정하는 학습 단계입니다. 이미 넓게 배워 둔 일반 능력을 바탕으로, 특정 말투, 형식, 분류 기준, 업무 지식에 더 잘 맞도록 방향을 다시 맞추는 과정이라고 볼 수 있습니다. 즉 모델을 처음부터 다시 만드는 일이라기보다, 넓게 배운 기반 위에 특정 사용 목적의 습관을 덧입히는 적응 단계에 가깝습니다.
왜 중요한가: 큰 말뭉치에서 먼저 배운 범용 언어 패턴과, 실제 업무 과업에 맞는 적응 단계를 구분하게 해 주기 때문입니다. 이 구분이 있어야 프롬프트만으로 해결할 문제와, 데이터로 모델 자체를 다시 조정해야 할 문제를 나눠 판단할 수 있습니다. 또한 미세조정은 늘 성능만 올리는 마법 단계가 아니라, 어떤 데이터를 어떤 형식으로 넣느냐에 따라 편향과 과적합, 비용, 저장 공간 문제가 함께 따라온다는 점도 중요합니다. 결국 미세조정은 모델을 바꾼다는 말의 가장 대표적인 실제 형태이면서, 그만큼 데이터 품질과 목적 정의가 더 엄격하게 요구되는 단계입니다.
함께 볼 개념: 사전학습(pretraining), 문맥 내 학습(in-context learning), 언어 모델(language model)
중심 Section: P6-9.1
등장 Section: P1-11.3, P1-12.1, P1-12.2, P6-9.2, P6-10.3, P6-10.5
뜻: 노출되면 개인, 조직, 거래, 보안 상태에 직접 피해를 줄 수 있어 입력, 저장, 출력에서 특별히 더 조심해서 다뤄야 하는 정보입니다. 개인정보가 대표 예지만, 비밀번호, API 키, 내부 문서, 계약서 초안, 의료 정보, 재무 정보처럼 꼭 개인 식별 정보가 아니어도 민감 정보가 될 수 있습니다. 즉 민감 정보는 법적으로 개인정보인가만이 아니라 새면 실제 피해가 큰가를 기준으로 함께 판단해야 하는 범주입니다.
왜 중요한가: AI 시스템은 프롬프트, 검색 문서, 로그, 평가 샘플, 디버깅 기록에 같은 정보를 여러 번 복제하기 쉬워, 한 번 들어온 민감 정보가 여러 경로로 재노출될 수 있기 때문입니다. 이 개념이 있어야 개인정보와 보안을 같은 말로 섞지 않게 되고, 개인 식별 정보는 아니지만 외부로 나가면 안 되는 정보도 따로 보호해야 한다는 점을 이해하게 됩니다. 또한 민감 정보를 이해해야 입력 금지 규칙, 최소 권한, 로그 마스킹, 사람 검토 같은 운영 장치가 왜 실제 피해 예방의 핵심인지도 더 구체적으로 읽게 됩니다.
함께 볼 개념: 개인정보(privacy), 보안(security), 도구 실행 권한(permission), 인간 감독(human oversight)