뜻: 입력 데이터와 그 입력에 붙은 정답 라벨이 한 쌍으로 묶인 학습 사례입니다. 예를 들어 메일 본문과 스팸이라는 라벨이 함께 있으면 하나의 라벨이 있는 예시가 됩니다.
왜 중요한가: 지도학습은 데이터만 모아 둔다고 시작되는 것이 아니라, 모델이 맞혀야 할 기준까지 함께 준비되어야 하기 때문입니다. 이 개념이 있어야 예시(example)와 지도학습 라벨(supervised learning label)을 따로 보지 않고, 학습에 쓰이는 한 단위로 읽을 수 있습니다.
함께 볼 개념: 지도학습(supervised learning), 지도학습 라벨(supervised learning label), 예시(example)
뜻: 지수 함수(exponential function)를 거꾸로 읽는 함수입니다. log(x)는 어떤 지수 입력을 넣었을 때 x가 되었는지를 묻는 표기이며, 곱셈 관계를 더하기 관계로 바꿔 읽을 때도 쓰입니다. 즉 수학의 로그는 실행 기록을 뜻하는 로그(log)가 아니라, 비율 변화와 확률 계산을 다루기 위한 함수입니다.
왜 중요한가: AI 문서에서는 log가 운영 기록과 수학 함수라는 두 뜻으로 모두 나오기 때문입니다. 수학 로그를 구분하면 로그 손실(log loss), 로그 가능도(log-likelihood), softmax 같은 식을 실행 로그와 혼동하지 않고 읽을 수 있습니다. 또한 작은 확률 여러 개를 곱할 때 값이 너무 작아지는 문제를 더하기 구조로 바꿔 다루는 이유도 함께 이해하게 됩니다.
함께 볼 개념: 지수 함수(exponential function), 로그 손실(log loss), 소프트맥스(softmax)
뜻: 정답에 부여한 확률이 낮을수록 더 큰 벌점을 주는 손실입니다. 보통 -log(p)처럼 로그를 사용해, 틀린데도 높은 확신을 둔 예측을 더 강하게 벌주는 방향으로 작동합니다. 즉 로그 손실은 확률 예측의 틀림을 단순 오차가 아니라 확신의 크기까지 포함해 읽는 손실입니다.
왜 중요한가: 분류 모델, 로지스틱 회귀, 신경망 출력 해석에서 자주 등장하기 때문입니다. 로그 손실을 이해하면 모델이 정답 확률을 높이도록 학습되는 이유와, 확률을 잘못 자신한 경우가 왜 크게 불리해지는지를 볼 수 있습니다. 또한 수학 로그(logarithm)와 손실(loss)이 결합된 용어이므로, 운영 로그(log)와 혼동하지 않게 분리해 둡니다.
함께 볼 개념: 수학 로그(logarithm), 손실(loss), 로지스틱 회귀(logistic regression)
뜻: 선형 계산 결과를 확률처럼 읽히는 점수로 바꾸어 분류 문제를 다루는 선형 모델입니다. 이름에 회귀가 들어가지만, 보통은 연속값 예측보다 어느 범주에 더 가까운가를 판단하는 분류 모델로 배웁니다. 즉 입력 특징을 직선 경계로 나누어 두 범주를 가르는 가장 기본적인 분류기 중 하나라고 볼 수 있습니다. 셋 이상의 클래스 중 하나를 고를 때는 클래스별 점수를 만들고 소프트맥스로 확률 분포처럼 읽는 다중 클래스 확장으로 설명할 수 있습니다.
왜 중요한가: 분류 문제에서 가장 기본적인 출발점이면서, 점수와 임계값(threshold)을 분리해 읽는 감각을 만들어 줍니다. 이 개념이 있어야 모델이 낸 확률 비슷한 점수와 그 점수를 바탕으로 실제로 어떤 클래스를 선택할지를 다른 개념으로 이해할 수 있습니다. 또한 로지스틱 회귀를 이해해야 단순한 선형 경계 모델이 어디까지 설명력을 가지는지, 더 복잡한 모델이 정말 필요한지 비교하는 기준선도 세울 수 있습니다. 결국 로지스틱 회귀는 간단하지만 해석 가능한 분류 기준선으로 자주 쓰인다는 점이 중요합니다.
함께 볼 개념: 분류(classification), 임계값(threshold), 결정 경계(decision boundary)
중심 Section: P4-11.1
등장 Section: P4-index, P4-3.2, P4-4.2, P4-11.2, P4-11.3, P4-11.4
뜻: 더 긴 입력을 실제로 유지하고, 앞쪽 단서와 뒤쪽 단서를 한 작업 안에서 다시 참고하려는 설계 문제 전체를 가리키는 표현입니다. 단지 토큰 한도를 늘리는 문제가 아니라, 긴 문서 속에서 무엇을 계속 들고 가고 무엇을 요약하거나 버릴지까지 포함한 문맥 관리 문제라고 볼 수 있습니다. 즉 롱 컨텍스트는 길게 넣을 수 있다를 넘어서 길게 넣은 정보를 어떻게 유지하고 활용할 것인가의 문제입니다.
왜 중요한가: 단순히 숫자 큰 context window를 자랑하는 문제가 아니라, 비용·지연 시간·핵심 단서 보존을 함께 다뤄야 하는 실제 서비스 설계 문제라는 점을 드러내기 때문입니다. 이 개념이 있어야 긴 입력을 잘 다루는 능력이 모델 스펙 하나로 닫히지 않고, 검색·요약·메모리 전략과 함께 설계된다는 점을 이해하게 됩니다. 결국 롱 컨텍스트를 이해해야 긴 입력 처리 능력을 창 크기 숫자가 아니라 시스템적 문맥 관리 역량으로 읽게 됩니다.
함께 볼 개념: 문맥 창(context window), 검색 증강 생성(retrieval-augmented generation, RAG), 셀프 어텐션(self-attention)