뜻: 관심 있는 결과들을 묶어 놓은 집합입니다. 예를 들어 주사위에서 짝수가 나온다는 사건은 2, 4, 6이라는 여러 개별 결과를 한 관심 주제로 묶어 놓은 표현입니다. 즉 사건은 낱개 결과를 그대로 세는 대신, 우리가 알고 싶은 조건 중심으로 묶어 읽는 단위입니다.
왜 중요한가: 확률 문제는 보통 하나의 미세한 결과보다 이 조건을 만족하는가를 묻기 때문에, 개별 결과들을 어떤 기준으로 한 덩어리로 묶는지가 해석의 출발점이 되기 때문입니다. 이 개념이 있어야 현실의 질문이 정확히 이 값인가보다 허용 범위를 넘었는가, 위험 구간에 들어갔는가 같은 사건 형태로 주어진다는 점을 이해하게 되고, 같은 표본공간도 무엇을 관심 사건으로 잡느냐에 따라 읽는 의미가 달라진다는 점도 자연스럽게 보게 됩니다. 결국 사건을 이해해야 확률은 무슨 결과가 나왔는가만이 아니라 어떤 조건이 성립했는가를 묻는 언어라는 점을 읽게 됩니다.
함께 볼 개념: 결과(outcome), 표본공간(sample space), 확률(probability)
뜻: 외부 자료와 근거로 확인되어야 하는 문장입니다. 단순 의견이나 비유가 아니라, 실제로 그런 일이 있었는가, 정말 그런 수치와 정의가 맞는가를 출처로 검증할 수 있어야 하는 진술이라고 볼 수 있습니다. 날짜, 수치, 제품 기능, 역사적 사건, 논문 내용처럼 확인 가능한 대상을 말할 때는 대부분 사실 주장에 해당합니다.
왜 중요한가: 개인적 직관이나 해석을 본문 사실처럼 단정하지 않게 해 주며, 출처 검토의 기준점이 되기 때문입니다. 이 개념이 있어야 같은 문장 안에서도 검증 가능한 사실, 그 사실에 대한 해석, 앞으로의 전망을 나누어 읽게 되고, AI 초안에서 무엇을 반드시 출처로 다시 확인해야 하는지도 더 분명해집니다. 결국 사실 주장을 먼저 골라낼 수 있어야 어디에 검증 노력을 집중할지도 결정할 수 있습니다. 다시 말해 사실 주장은 느낌상 맞아 보인다가 아니라 근거로 확인할 수 있다가 핵심인 문장입니다.
함께 볼 개념: 검증 근거(supporting evidence), 사실성(factuality), 예측(prediction)
뜻: 문장이 실제 사실과 맞는지, 핵심 주장에 오류나 왜곡이 없는지를 보는 기준입니다. 표현이 매끄러운가와는 다른 질문이며, 그럴듯하게 들리는가보다 검증 가능한 내용과 맞는가를 묻는 평가 축에 가깝습니다. 즉 사실성은 문장 스타일이 아니라, 그 문장이 외부 세계와 얼마나 정확하게 맞물리는지를 묻는 품질 기준입니다.
왜 중요한가: 자연스럽고 설득력 있는 문장이라도 사실과 다를 수 있으므로, 출력 품질과 정확성을 분리해 읽게 해 주기 때문입니다. 특히 생성형 AI에서는 문체가 좋아도 출처가 약하거나 최신 정보가 틀릴 수 있어, 사실성을 따로 점검해야 실제 사용 가능성을 판단할 수 있습니다. 이 개념이 있어야 도움이 되는 답과 사실에 맞는 답이 언제는 겹치고 언제는 어긋날 수 있는지 함께 보게 되고, 환각 문제를 단순 문체 문제가 아니라 검증 체계 문제로 읽게 됩니다.
함께 볼 개념: 검증 근거(supporting evidence), 환각(hallucination), 평가 지표(metric)
뜻: 특정 과업을 바로 학습하기 전에, 큰 말뭉치에서 일반적인 언어 패턴과 표현을 먼저 학습하는 단계입니다. 한 업무를 잘하게 만들기보다, 다양한 문장 구조와 지식 표현을 넓게 접하게 해 범용적인 초기 능력을 만드는 준비 단계라고 볼 수 있습니다. 즉 사전학습은 이 일만 잘하는 모델을 만드는 첫 단계가 아니라, 여러 작업에 옮겨 갈 수 있는 공통 기반을 먼저 쌓는 과정입니다. 언어 모델 사전학습에는 다음 토큰 예측처럼 앞 문맥으로 이어질 토큰을 맞히는 방식도 있고, 문장 일부를 가린 뒤 주변 문맥으로 복원하는 방식도 있습니다.
왜 중요한가: 현대 LLM이 개별 업무 데이터를 보기 전부터 범용적인 언어 감각과 표현을 갖게 되는 이유를 설명하는 핵심 절차이기 때문입니다. 이 개념이 있어야 왜 적은 예시만으로도 어느 정도 반응하는가, 왜 미세조정 없이도 기본 응답이 가능한가를 이해할 수 있고, 이후 적응 단계와의 역할 분담도 더 분명해집니다. 사전학습을 마친 LLM은 빈 모델이나 서비스 제품 전체가 아니라, 대규모 일반 학습을 통해 이미 넓은 언어 능력을 갖춘 모델 상태로 읽어야 합니다. 결국 사전학습을 이해해야 모델 능력의 상당 부분이 배포 직전 설정이 아니라, 대규모 일반 학습 단계에서 이미 형성된다는 점을 읽게 됩니다.
함께 볼 개념: 미세조정(fine-tuning), 문맥 내 학습(in-context learning), 언어 모델(language model)
중심 Section: P1-11.3
등장 Section: P1-9.3, P6-5.1, P6-5.2, P6-8.1, P6-8.2, P6-10.1, P6-20.1, P6-6.1
뜻: 순서가 있는 데이터에서 앞뒤 관계와 시간적 의존성을 모델링하는 문제 설정입니다. 문장, 토큰열, 오디오 샘플, 센서 기록처럼 순서가 의미를 바꾸는 데이터를 다룰 때 쓰입니다.
왜 중요한가: LLM의 직접 계보가 단순 분류가 아니라 언어와 순차 데이터를 다루는 흐름 위에 있다는 점을 보여 주기 때문입니다. 이 개념이 있어야 attention, Transformer를 각각 따로 외우지 않고, 순서 있는 입력과 출력을 어떻게 표현하고 생성할지 묻는 넓은 문제로 연결할 수 있습니다.
함께 볼 개념: 언어 모델링(language modeling), 트랜스포머(Transformer), 인코더-디코더(Encoder-Decoder)
뜻: 현재 상황에서 다음 행동 선택에 필요한 정보를 요약한 표현입니다. 강화학습에서는 환경의 현재 상황을 뜻하고, AI 에이전트 실행 문맥에서는 지금까지 읽은 자료, 실행 결과, 중간 판단을 포함한 작업 진행 상태를 뜻할 수 있습니다.
왜 중요한가: 탐색, 강화학습, AI 에이전트 실행 모두에서 지금 어디까지 왔고 무엇을 이미 확인했는지에 따라 다음 행동이 달라지기 때문입니다. 이 개념이 있어야 입력 하나를 바로 답으로 바꾸는 문제와 중간 상황을 계속 갱신하며 여러 단계를 밟는 문제를 구분하게 되고, 상태를 어떻게 요약하느냐에 따라 같은 환경에서도 전혀 다른 행동이 나올 수 있다는 점도 이해하게 됩니다. 결국 상태는 단순 기록이 아니라 다음 판단의 바탕이므로, 상태 표현 자체가 성능과 안정성에 직접 영향을 줍니다. 즉 상태는 지금 무엇을 알고 있는가를 다음 행동이 쓸 수 있는 형태로 정리한 표현입니다.
함께 볼 개념: 에이전트 행동(action), 강화학습 환경(reinforcement learning environment), 강화학습 정책(reinforcement learning policy), 관찰 결과(observation)
뜻: 시뮬레이션에서 학습하거나 평가한 정책이 현실 환경으로 옮겨졌을 때, 센서 잡음, 지연, 마찰, 조명, 예외 상황 차이 때문에 성능이나 안전성이 달라지는 간극입니다. 시뮬레이션 조건을 일부러 다양하게 바꾸어 한 가지 조건에 과적응하지 않게 하는 방식은 이 간극을 줄이려는 하위 전략으로 설명할 수 있습니다.
왜 중요한가: 강화학습은 위험한 시도를 시뮬레이션에서 먼저 하려는 경우가 많지만, 시뮬레이션은 현실의 완전한 복사본이 아닙니다. 이 개념은 시뮬레이션 성공을 곧바로 현실 성공으로 읽지 않게 해 줍니다.
함께 볼 개념: 시뮬레이션(simulation), 현실 환경(real world), AI 시스템 안전성(safety)
뜻: 현재 질문에 답하기 위해 한 건으로 묶어 읽기로 정한 사례 단위입니다. 행 하나, 문서 하나, 이벤트 한 번처럼 모델이 한 번 본다고 셀 수 있는 기본 단위라고 이해하면 됩니다. Part 7에서는 이 샘플 경계가 곧 입력 단위와 비교 단위가 되어, 같은 로그라도 하루 전체를 샘플로 볼지 채널-일자를 샘플로 볼지에 따라 프로젝트 문서의 첫 문장이 달라집니다.
왜 중요한가: 같은 원천데이터라도 한 시점 기록을 샘플로 볼지, 동작 1회를 샘플로 볼지에 따라 뒤의 특징, 기준선, 출력 구조가 모두 달라지기 때문입니다. 샘플 단위가 흔들리면 데이터셋 크기와 라벨 의미도 함께 흔들립니다. 이 개념이 있어야 Part 7의 입력 단위 정의, 샘플별 비교표, 틀린 사례 목록이 모두 무엇을 한 건으로 셌는가 위에 서 있다는 점도 더 분명하게 읽게 됩니다. 결국 샘플은 데이터가 많다는 사실을 무엇을 한 건으로 볼 것인가라는 분석 단위로 닫아 주는 기준입니다.
함께 볼 개념: 표본(sample), 행(row), 데이터셋(dataset), 사례(example)
뜻: 모델이 계산한 후보 분포를 바탕으로 실제 출력 조각 하나를 선택하는 절차입니다. 즉 모델이 어떤 후보들이 얼마나 그럴듯한가를 계산한 뒤, 그 가운데 무엇을 실제로 꺼내 쓸지 정하는 마지막 선택 단계라고 볼 수 있습니다. 언어 모델에서는 다음 토큰 후보 중 하나를 고르는 일이 되고, 이미지 생성에서는 다음 단계의 잡음 제거 경로를 확률적으로 밟는 선택으로 이어질 수 있습니다.
왜 중요한가: 같은 입력에서도 생성 결과가 달라질 수 있는 이유와, 확률 분포 계산과 실제 출력 선택이 구분된다는 점을 이해하게 해 주기 때문입니다. 이 개념이 있어야 모델이 아는 후보 분포와 실제로 채택된 한 결과를 다른 개념으로 해석하게 됩니다. 또한 생성 품질이 언제나 모델 가중치만으로 결정되는 것이 아니라, 마지막 선택 절차의 설정에도 크게 영향을 받는다는 점을 읽게 해 주어 temperature나 top-k 같은 생성 설정의 역할도 더 분명히 이해하게 됩니다. 즉 샘플링을 이해해야 모델이 무엇을 알고 있는가와 그 가운데 실제로 무엇을 꺼내는가를 분리해 보게 되고, 같은 모델 비교에서도 생성 설정을 함께 기록해야 하는 이유가 선명해집니다.
함께 볼 개념: 다음 토큰 예측(next-token prediction), 토큰(token), 디퓨전 모델(diffusion model)
중심 Section: P5-15.3
등장 Section: P1-5.2, P1-10.2, P5-15.1, P5-15.2, P6-1.3, P6-4.1, P6-7.1, P6-7.2
뜻: 모든 사례에 같은 방식으로 라벨이 붙은 것이 아니라, 사람이 검토했거나 특정 조건을 통과한 일부 사례에만 결과 라벨이 남아 있는 상태입니다. 이때 관측된 라벨은 전체 사건의 무작위 표본이 아니라, 이전 검토나 의사결정 경로를 거친 결과일 수 있습니다.
왜 중요한가: 선택적 라벨만 보고 모델을 평가하거나 원인 분포를 해석하면, 검토되지 않은 구간의 오류와 정상·미확인 구분이 숨을 수 있기 때문입니다. 이 개념이 있어야 라벨이 있다와 전체를 대표한다를 분리하고, 라벨 없음의 뜻과 검토 경로, 편중 가능성을 함께 적게 됩니다.
함께 볼 개념: 지도학습 라벨(supervised learning label), 인간 감독(human oversight), 편향(bias), 출처 추적(provenance)
뜻: 모델이나 분석으로 정말 알고 싶고, 최종적으로 줄이거나 맞히고 싶은 결과입니다. 현재 데이터에서 바로 관측되는 열일 수도 있지만, 현실에서는 늦게 확인되거나 직접 관측되지 않아 대리 타깃과 구분해야 하는 경우가 많습니다.
왜 중요한가: 실제 목표가 무엇인지 흐리면 지금 예측하는 값이 원래 문제를 직접 푸는지, 아니면 중간 판단을 대신 맞히는지 알기 어려워지기 때문입니다. 이 개념이 있어야 대리 타깃을 사용할 때도 원래 목적과의 거리를 기록하고, 모델 점수를 해석할 때 무엇을 잘 맞힌 것인지 분명히 할 수 있습니다.
함께 볼 개념: 대리 타깃(proxy target), 타깃(target), 지도학습 라벨(supervised learning label), 문제 정의(task definition)
뜻: 데이터에서 자주 나타나는 패턴과 후보 분포를 학습해, 새로운 샘플이나 다음 출력을 실제로 만들어 내는 모델 계열입니다. 단순히 입력을 라벨로 대응시키는 데서 멈추지 않고, 학습한 분포를 바탕으로 아직 없던 결과를 샘플 형태로 밖으로 꺼낼 수 있는 모델이라고 볼 수 있습니다.
왜 중요한가: 분류처럼 정해진 라벨을 고르는 문제와, 텍스트·이미지처럼 새 출력을 구성하는 문제를 구분해 읽게 해 주는 Part 5의 핵심 전환점이기 때문입니다. 이 개념이 있어야 모델이 무엇이 맞는가만 판단하는지, 아니면 무엇을 만들어 낼 수 있는가까지 다루는지를 분리해 읽게 되고, 생성 품질을 볼 때도 정확도 하나가 아니라 다양성, 일관성, 조건 충족 여부를 함께 보게 됩니다. 결국 생성 모델을 이해해야 출력의 자연스러움과 분포 적합성, 제어 가능성을 함께 읽는 평가 관점도 잡히게 됩니다.
함께 볼 개념: 생성(generation), 샘플링(sampling), 다음 토큰 예측(next-token prediction)
뜻: 지시, 조건, 예시, 맥락을 바탕으로 새 텍스트, 이미지, 음성, 코드 같은 결과를 만들어 내는 문제 유형입니다. 이미 정해진 보기에서 하나를 고르는 일이 아니라, 여러 작은 선택을 이어 붙여 새로운 출력을 구성하는 쪽에 더 가깝습니다. 즉 생성은 무엇이 맞는가를 고르는 문제라기보다, 어떤 결과를 실제로 만들어 낼 것인가를 순차적으로 결정하는 과정입니다.
왜 중요한가: 분류나 추천과 달리 정답 목록에서 하나를 고르는 것이 아니라 새 결과를 구성한다는 점에서 생성형 AI와 LLM 흐름을 읽는 출발점이 되기 때문입니다. 같은 출력이라도 생성은 선택 문제와 평가 기준이 다르다는 점을 먼저 구분하게 해 줍니다. 또한 생성은 한 단계의 판단이 아니라 여러 단계 선택이 이어진 결과이므로, 중간 샘플링 설정과 맥락 배치가 품질에 크게 영향을 준다는 점도 함께 이해해야 합니다.
함께 볼 개념: 추천 과제(recommendation task), 순위화(ranking), LLM(대규모 언어 모델), 샘플링(sampling), 다음 토큰 예측(next-token prediction)
중심 Section: P1-10.1
등장 Section: P1-1.2, P1-5.2, P1-5.3, P1-13.3, P5-15.1, P5-15.2, P5-15.3
뜻: 텍스트, 이미지, 음성, 영상, 코드처럼 새로운 콘텐츠를 만들어 내는 모델과 서비스 범주를 가리키는 말입니다. 특정 모델 구조 하나의 이름이 아니라, 정답을 고른다보다 새 결과를 만든다는 출력 성격을 중심으로 묶인 넓은 범주라고 볼 수 있습니다.
왜 중요한가: 딥러닝이라는 학습 방법, LLM이라는 모델 계열, 실제 서비스 경험을 한 덩어리로 섞지 않고 무엇을 생성하는가라는 출력 범주로 읽게 해 주기 때문입니다. 이 개념이 있어야 생성형 AI가 특정 모델 하나의 이름이 아니라, 여러 모델 계열과 응용 서비스를 묶는 넓은 범주라는 점을 이해하게 되고, 같은 생성형 AI 안에서도 텍스트 생성과 이미지 생성의 내부 구조가 다를 수 있다는 점도 더 자연스럽게 받아들이게 됩니다. 또한 생성형 AI를 이해해야 분류 모델 성능 평가와 생성 결과 평가가 왜 다른 기준을 필요로 하는지도 함께 연결됩니다.
함께 볼 개념: 생성(generation), 딥러닝(deep learning), LLM(대규모 언어 모델)
뜻: 스칼라, 벡터, 행렬처럼 숫자 묶음을 다루고, 그 묶음을 더하거나 곱해 새 표현을 만드는 수학 분야입니다. AI 입문에서는 엄밀한 공리보다 데이터가 어떤 모양의 숫자 배열로 바뀌고, 그 배열이 어떤 계산을 통과하는지 읽는 언어로 먼저 다룹니다. 즉 선형대수는 현실 데이터를 계산 가능한 표현으로 접고 바꾸는 기본 문법입니다.
왜 중요한가: 임베딩, 특징 벡터, 입력 행렬, 가중치 행렬, 행렬 곱이 모두 이 언어 위에서 설명되기 때문입니다. 선형대수를 알면 숫자가 많다가 아니라 값 하나인가, 벡터인가, 행렬인가, 어떤 shape로 계산되는가를 먼저 묻게 됩니다. 이 개념이 있어야 신경망 계산도 마법 같은 내부 처리보다 입력 표현을 여러 단계로 변환하는 구조로 읽게 됩니다.
함께 볼 개념: 스칼라(scalar), 벡터(vector), 행렬(matrix), 행렬 곱(matrix multiplication)
뜻: 입력 특징과 연속 출력 사이의 관계를 직선 또는 평면처럼 가장 단순한 선형 형태로 먼저 읽어 보는 회귀 모델입니다. 특징이 하나면 직선, 여러 개면 고차원 평면처럼 입력이 조금 바뀌면 출력이 어느 방향으로 얼마나 달라지는가를 선형 규칙으로 표현하는 방식입니다.
왜 중요한가: 복잡한 모델로 가기 전에 입력과 출력이 대체로 직선 관계라면 어느 정도 설명되는가를 먼저 확인하게 해 주는 가장 기본적인 회귀 기준선이기 때문입니다. 이 개념이 있어야 회귀 문제에서 관계를 가장 단순한 형태로 먼저 읽는 이유를 이해하게 되고, 이후 더 복잡한 모델이 왜 필요한지도 직선으로는 설명되지 않는 패턴이 남는가라는 기준으로 비교하게 됩니다. 또 계수와 기울기를 통해 각 입력이 출력 변화에 어떤 방향으로 연결되는지 해석하는 출발점도 마련됩니다. 결국 선형회귀는 가장 단순한 설명이 어디까지 통하는가를 먼저 시험하는 기준선 역할을 합니다.
함께 볼 개념: 회귀(regression), 변화율(rate of change), 오차(error)
뜻: 벡터에 행렬을 곱해 다른 벡터나 다른 표현 공간의 위치로 옮기는 계산입니다. 입문적으로는 입력 표현을 가중치 행렬로 바꾸어 출력 표현을 만드는 구조로 이해할 수 있습니다. 즉 선형 변환은 입력을 그대로 두지 않고, 같은 규칙으로 새 표현으로 옮기는 기본 계산입니다.
왜 중요한가: 신경망 층은 입력 표현을 여러 단계로 바꾸며 더 문제에 맞는 표현을 만들기 때문입니다. 선형 변환을 이해하면 행렬 곱이 단순 숫자 공식이 아니라, 표현을 다른 공간으로 이동시키는 재사용 가능한 계산이라는 점을 볼 수 있습니다. 또한 활성화 함수나 정규화 같은 다른 계산이 붙기 전의 기본 블록도 더 분명해집니다.
함께 볼 개념: 행렬 곱(matrix multiplication), 가중치(weight), 신경망 층(layer)
뜻: 같은 시퀀스 안의 각 토큰이 다른 토큰들과의 관련도를 계산해 자기 표현을 갱신하는 attention 방식입니다. 즉 현재 위치의 표현을 만들 때 자기 자신만 보지 않고, 같은 문장 안의 다른 위치들을 얼마나 참고할지 가중치를 두어 다시 섞는 구조라고 볼 수 있습니다. 실제 트랜스포머에서는 이런 관계 계산을 여러 head가 나누어 읽고 다시 합치는 방식으로 표현 용량을 넓히기도 합니다.
왜 중요한가: Transformer가 순차 recurrence 없이도 문맥 관계를 직접 계산할 수 있게 해 주는 핵심 메커니즘이기 때문입니다. 이 개념이 있어야 현재 토큰 표현이 자기 자신만이 아니라 문장 안의 다른 토큰들과의 관계를 반영해 바뀐다는 점을 이해하게 되고, 긴 문맥에서 어떤 단어가 어떤 단어를 참고하는지 설명하는 출발점도 잡게 됩니다. 또한 셀프 어텐션을 이해해야 문장을 앞에서 뒤로만 전달한다는 직관에서 벗어나, 시퀀스 안 여러 위치의 관계를 한 층 안에서 직접 섞는다는 Transformer의 차별점을 더 분명히 읽게 됩니다.
함께 볼 개념: 트랜스포머(Transformer), 어텐션(Attention), 토큰(token)
뜻: 실수 점수를 0과 1 사이 값으로 눌러 주는 S자 모양 함수입니다. 로지스틱 회귀(logistic regression)와 이진 분류 설명에서 점수를 확률처럼 읽을 수 있는 값으로 바꿀 때 자주 등장합니다. 즉 시그모이드는 원래 점수와 확률처럼 해석되는 출력 사이를 잇는 변환 함수입니다.
왜 중요한가: 모델 출력이 바로 확률이 아니라, 특정 함수를 거쳐 확률처럼 읽히는 값으로 바뀔 수 있음을 보여 주기 때문입니다. 이 개념이 있어야 모델 후보 점수(model score), 확률처럼 해석되는 출력, 로그 손실(log loss)의 연결을 더 안정적으로 따라갈 수 있습니다. 또한 지수 함수(exponential function)가 뒤에서 왜 반복해서 등장하는지 보여 주는 대표 예입니다.
함께 볼 개념: 지수 함수(exponential function), 로그 손실(log loss), 로지스틱 회귀(logistic regression)
뜻: 학습 반복이나 epoch가 진행될수록 손실값이 어떻게 변하는지 선 그래프로 나타낸 것입니다. 한 번의 숫자를 따로 보는 대신, 처음엔 빠르게 줄다가 완만해지는가, 갑자기 튀는가, 훈련과 검증이 갈라지는가처럼 학습의 시간 흐름을 눈으로 읽게 해 주는 기록입니다.
왜 중요한가: 손실이 줄어드는지, 흔들리는지, 검증 손실과 벌어지는지를 빠르게 확인하게 해 주어 학습 상태를 점검하는 가장 기본적인 시각화가 되기 때문입니다. 이 개념이 있어야 숫자 한 번의 결과보다 학습의 흐름 자체를 읽게 되고, 과적합, 학습 정체, 불안정한 진동처럼 서로 다른 문제 양상을 더 일찍 구분하게 됩니다. 예를 들어 훈련 손실만 계속 내려가고 검증 손실이 다시 올라가면, 계속 학습 중이라는 사실보다 일반화가 무너지고 있다는 신호를 먼저 읽어야 합니다. 결국 손실 곡선은 현재 점수보다 학습이 어떤 방향으로 흘러가고 있는가를 읽게 만드는 시간형 진단 도구입니다.
함께 볼 개념: 데이터 시각화(visualization), 손실 함수(loss function), 정확도(accuracy)
뜻: 모델의 현재 출력이 라벨이나 학습 목표에서 얼마나 벗어났는지를 나타내는 수치 신호입니다. 손실이 크다는 말은 현재 예측이 목표와 멀다는 뜻이고, 손실이 작다는 말은 더 가까워졌다는 뜻에 가깝습니다.
왜 중요한가: 훈련은 보통 손실이 줄어드는 방향으로 파라미터를 조정하므로, 손실을 이해해야 학습이 무엇을 기준으로 내부 값을 바꾸는지 볼 수 있습니다. 손실은 최종 평가 지표와 같을 수도 있지만 항상 같은 것은 아니며, 학습 중 실제로 줄이려는 신호가 무엇인지 따로 확인하게 해 줍니다.
함께 볼 개념: 손실 함수(loss function), 파라미터(parameter), 경사하강법(gradient descent)
뜻: 예측이 얼마나 틀렸는지를 학습에 사용할 수 있는 숫자로 바꾸는 함수입니다. 단순히 틀렸다고 말하는 데서 끝나지 않고, 얼마나 틀렸는지와 어떤 종류의 오류를 더 크게 벌줄지까지 숫자로 정리하는 기준이라고 볼 수 있습니다. 즉 손실 함수는 모델이 무엇을 나쁘다고 배울 것인가를 수치로 정해 주는 규칙이며, 학습의 방향키 역할을 합니다.
왜 중요한가: 학습이 무엇을 줄이려 하는지 정의하지 않으면 모델을 어느 방향으로 조정할지 정할 수 없기 때문입니다. 이 개념이 있어야 같은 정확도처럼 보여도 학습 중에는 왜 별도의 손실값을 계산하는지, 또 손실 설계가 달라지면 모델이 우선적으로 줄이려는 오류도 달라질 수 있다는 점을 이해하게 됩니다. 또한 손실 함수를 이해해야 평가 지표가 좋다와 학습 중 실제로 줄인 값이 무엇인가를 같은 것으로 섞지 않게 되고, 어떤 오류를 더 무겁게 볼지 자체가 모델 행동을 바꾼다는 점도 읽게 됩니다.
함께 볼 개념: 오차(error), 목적 함수(objective function), 경사하강법(gradient descent)
중심 Section: P2-6.2
등장 Section: P1-5.1, P2-6.1, P2-6.3, P2-13.2, P2-15.1, P5-4.1, P5-4.2
뜻: 값이나 수열이 어떤 한 값에 점점 가까워지는 현상입니다. 정확히 같은 값에 즉시 도달하지 않더라도, 반복할수록 변화 폭이 줄며 특정 값이나 상태 주변으로 모여 가는 흐름을 뜻합니다. 즉 수렴은 이제 거의 안정된 상태로 가는가를 보는 개념이지, 꼭 한 번에 딱 맞는 값에 도달해야만 하는 것은 아닙니다. 핵심은 오차가 즉시 0이 되는지보다, 반복할수록 흔들림이 줄어드는가에 있습니다.
왜 중요한가: 반복 계산이나 학습 과정이 계속 흔들리는가 아니면 어느 값 근처로 안정되어 가는가를 구분하는 핵심 질문이기 때문입니다. 이 개념이 있어야 극한을 수학 기호로만 보지 않고 실제 계산 절차의 안정 여부와 연결해 읽게 되고, 손실이 내려가다 멈추는 현상과 발산하거나 진동하는 현상도 서로 다른 상태로 구분해 해석하게 됩니다. 또한 수렴을 이해해야 학습 곡선이 완만해지는 현상을 단순 정체가 아니라, 안정된 지점으로 가까워지는 신호일 수도 있다는 점을 읽게 되고, 반복이 오래 걸린다고 해서 곧바로 실패라고 단정하지 않게 됩니다.
함께 볼 개념: 극한(limit), 변화율(rate of change), 최적화(optimization)
뜻: 계산을 여러 번 반복하더라도 값과 gradient가 지나치게 커지거나 작아지지 않아, 학습이 감당 가능한 숫자 범위 안에서 계속 이어지는 성질입니다. 즉 수식은 맞더라도 실제 컴퓨터 숫자 범위 안에서 계산이 터지거나 사라지지 않게 유지되는 상태를 뜻합니다. 다시 말해 수치 안정성은 수학적으로 가능한 계산을 실제 기계에서도 무너지지 않게 구현하는 조건이라고 볼 수 있습니다.
왜 중요한가: 컴퓨터는 무한히 정확한 실수를 다루지 못하므로, 수학적으로는 맞는 계산도 실제 실행에서는 overflow, underflow, gradient 폭주 같은 문제로 무너질 수 있기 때문입니다. 이 개념이 있어야 출발값 배치, 정규화, 업데이트 보폭 조정이 단순 튜닝 요령이 아니라 계산 자체를 지속 가능하게 만드는 조건이라는 점을 이해하게 되고, 모델 구조는 맞는데 학습이 안 된다는 상황도 수치 문제로 다시 읽게 됩니다. 또한 softmax 계산 순서, 로그 변환 사용, 정규화 층 배치처럼 겉보기에는 사소한 구현 선택도 실제 학습 가능성을 크게 바꾼다는 점을 함께 이해하게 됩니다.
함께 볼 개념: 하이퍼파라미터(hyperparameter), 그래디언트(gradient), 역전파(backpropagation)
뜻: 여러 후보를 점수나 우선순위 기준으로 줄 세우는 문제 유형입니다. 정답 하나를 바로 고르기보다, 후보들을 무엇을 먼저 보여 줄 것인가의 순서로 재배치하는 문제라고 이해하면 됩니다. 즉 순위화의 핵심은 개별 후보의 절대 점수보다, 후보들 사이의 상대적 앞뒤 관계를 잘 정하는 데 있습니다.
왜 중요한가: 검색 결과, 추천 목록, 문서 후보처럼 무엇을 먼저 보여 줄지 정하는 문제는 단순 분류와 다른 구조를 가진다는 점을 보여 주기 때문입니다. 이 개념이 있어야 정답 하나를 맞히는가보다 상위 몇 개를 어떤 순서로 보여 주는가가 더 중요한 문제를 따로 읽게 되고, 검색과 추천에서 정확도만이 아니라 상위 노출 품질이 왜 핵심 지표가 되는지도 이해하게 됩니다. 특히 사용자는 보통 첫 페이지나 상위 몇 개만 보기 때문에, 순위화는 맞혔는가보다 먼저 보여 준 것이 충분히 유용한가를 평가하는 관점으로 이어집니다.
함께 볼 개념: 추천 과제(recommendation task), 검색(search), 생성(generation)
뜻: 이전 단계의 숨은 상태를 다음 계산에 넘기며 순서가 있는 데이터를 처리하는 신경망 구조입니다. 앞에서 본 정보를 작은 작업 메모처럼 들고 다음 토큰이나 다음 시점 계산으로 넘기는 방식이라고 이해하면 됩니다. 즉 RNN은 입력 전체를 한꺼번에 보기보다, 순서를 따라 한 칸씩 읽으며 내부 상태에 정보를 누적하는 구조입니다.
왜 중요한가: 언어와 시계열처럼 순서가 중요한 데이터를 신경망이 어떻게 누적 처리하려 했는지 보여 주는 대표적인 출발점이기 때문입니다. 이 개념이 있어야 입력을 한 번에 던져 처리하는 구조와, 앞에서 본 정보를 숨은 상태에 누적하며 다음 토큰을 읽는 구조를 구분할 수 있고, 나중에 트랜스포머가 왜 다른 방식으로 긴 문맥 문제를 다루게 되었는지도 비교해서 이해하게 됩니다. 결국 RNN을 이해해야 순서 정보는 어떻게 기억되는가라는 질문에 대한 초기 신경망 답변을 읽을 수 있습니다.
함께 볼 개념: 숨은 상태(hidden state), 장기 의존성(long-term dependency), 순차 모델링(sequence modeling)
뜻: 순환 신경망에서 앞 입력 정보를 누적해 다음 계산으로 넘기는 내부 상태입니다. 입력을 한 번에 모두 보지 않고 순서대로 읽는 모델이, 앞에서 본 내용을 다음 시점 계산에 전달하기 위해 들고 있는 중간 표현이라고 볼 수 있습니다.
왜 중요한가: RNN 계열이 순서 정보를 어떻게 기억하려 했는지 이해하는 기준점이기 때문입니다. 숨은 상태를 이해하면 모델이 현재 입력만 보는 것이 아니라 이전 입력에서 넘어온 내부 표현과 함께 다음 출력을 계산한다는 점을 읽을 수 있습니다. 계산 문서 실행 중 화면에 보이지 않는 값과 설정은 같은 표제로 묶지 않고 실행 환경과 문서 재현성 문맥에서 따로 설명합니다.
함께 볼 개념: 순환 신경망(RNN, recurrent neural network), 장기 의존성(long-term dependency), 순차 모델링(sequence modeling)
뜻: 숫자 하나로 표현되는 값입니다. 벡터가 여러 값을 가진 1차원 표현이라면, 스칼라는 더 이상 쪼개지지 않는 단일 수치 결과라고 볼 수 있습니다. 손실값, 평균, 확률 하나처럼 계산의 마지막에 비교와 판단 기준으로 쓰이는 한 숫자 결과가 대표적인 스칼라입니다.
왜 중요한가: 벡터와 행렬이 중간 계산을 풍부하게 담더라도, 학습과 평가에서는 손실, 확률, 평균처럼 결국 한 숫자로 요약된 판단값을 자주 사용하기 때문입니다. 이 개념이 있어야 큰 모양의 텐서 계산과 마지막 의사결정에 쓰이는 단일 수치를 구분하게 되고, 출력 전체와 그 출력을 대표해 비교하는 값이 서로 다른 층위라는 점도 더 분명히 읽게 됩니다. 또한 스칼라를 이해해야 모양이 큰 계산과 비교를 위한 최종 요약값이 어떻게 이어지는지 더 자연스럽게 연결됩니다. 결국 스칼라는 복잡한 계산을 마지막 판단으로 압축하는 가장 작은 수치 단위입니다.
함께 볼 개념: 벡터(vector), 행렬(matrix), 모델 출력 정의(model output)
뜻: 숫자나 표 데이터를 선, 점, 막대, 구간 같은 시각적 모양으로 바꾸어 확인하는 과정입니다. 단순히 보기 좋게 꾸미는 일이 아니라, 숫자만으로는 잘 안 보이던 변화와 관계를 눈으로 비교 가능한 형태로 바꾸는 해석 과정이라고 볼 수 있습니다.
왜 중요한가: 표에서 바로 드러나지 않는 변화, 관계, 분포를 더 빨리 읽게 해 주며, 이후 실험 해석과 기록 작성의 출발점이 되기 때문입니다. 이 개념이 있어야 시각화가 단순 꾸미기가 아니라 무슨 패턴을 먼저 관찰할 것인가를 정하는 분석 도구라는 점을 이해하게 되고, 선 그래프·산점도·히스토그램처럼 형식 선택 자체도 질문에 따라 달라져야 한다는 판단으로 이어집니다. 또한 시각화를 이해해야 같은 데이터라도 어떤 그래프를 고르느냐에 따라 보이는 패턴과 놓치는 패턴이 달라질 수 있다는 점도 더 분명히 읽게 됩니다.
뜻: 여러 점수를 지수 함수로 변환한 뒤 전체 합으로 나누어, 서로 비교 가능한 비율 값으로 바꾸는 함수입니다. 분류 문제에서는 각 클래스 점수를 확률처럼 해석되는 값으로 정규화할 때 자주 쓰입니다. 즉 소프트맥스는 여러 후보 점수의 상대적 크기를 한꺼번에 비교 가능한 출력으로 바꾸는 계산입니다.
왜 중요한가: LLM과 분류 모델에서 점수, 확률처럼 읽히는 출력, 다음 후보 선택을 연결하는 핵심 함수이기 때문입니다. 소프트맥스를 이해하면 왜 큰 점수가 더 큰 비중을 받는지, 왜 모든 후보 값을 함께 보아야 하는지, 왜 지수와 로그가 손실 계산에서 함께 등장하는지 읽을 수 있습니다.
함께 볼 개념: 지수 함수(exponential function), 수학 로그(logarithm), 분류(classification)