뜻: 지도학습에서 모델이 맞혀야 하는 정답 열 또는 목표 값입니다. 라벨이 이미 붙어 있는 정답 열일 수도 있고, 앞으로 예측 문제로 삼기 위해 별도로 정의한 결과 열일 수도 있습니다. 즉 타깃은 데이터표 안의 많은 열 가운데 모델이 최종적으로 맞혀야 하는 답 자리를 지정한 것입니다.
왜 중요한가: 원본 표를 그대로 쓰지 않고 입력 특징과 정답을 나누어 읽어야 학습 구조가 분명해지며, 타깃 열을 잘못 입력에 섞으면 데이터 누수 문제가 생기기 때문입니다. 결국 타깃 선택은 무엇을 맞히는 문제인가를 닫는 핵심 결정입니다. 이 개념이 있어야 같은 데이터표를 두고도 어떤 열을 타깃으로 잡느냐에 따라 전혀 다른 학습 문제가 만들어질 수 있다는 점을 분명히 이해하게 됩니다. 또한 타깃이 바뀌면 필요한 특징, 평가 방식, 실무 활용 시나리오도 함께 바뀐다는 점을 읽게 됩니다.
함께 볼 개념: 특징(feature), 데이터셋(dataset), 지도학습 라벨(supervised learning label), 문제 정의(task definition), 대리 타깃(proxy target)
뜻: 문제를 풀 때 고려할 수 있는 상태와 선택지, 경로 후보의 전체 구조입니다. 단순히 답 후보 목록만이 아니라, 현재 어디에 있고 다음에 무엇을 할 수 있으며 그 선택이 어떤 새 상태로 이어지는지까지 포함한 전체 가능성 지형이라고 볼 수 있습니다.
왜 중요한가: 선택 단계가 늘어날수록 후보 수가 왜 빠르게 커지는지 설명해 주며, 모든 후보를 직접 확인하기 어려워지는 배경을 보여 주기 때문입니다. 이 개념이 있어야 계산이 느린 이유를 단순 구현 미숙으로만 보지 않고, 애초에 후보 공간 자체가 얼마나 큰지부터 따져 보게 됩니다. 결국 탐색 공간은 휴리스틱, 근사, 가지치기가 왜 필요한지 설명하는 배경이 됩니다. 또한 탐색 공간을 이해해야 문제를 더 잘 푼다는 말이 종종 더 좋은 알고리즘을 쓴다뿐 아니라 후보 구조를 더 작고 읽기 좋게 표현한다는 뜻일 수도 있다는 점도 함께 보게 됩니다.
함께 볼 개념: 상태공간 탐색(search), 계산 한계(computational limit), 휴리스틱(heuristic)
뜻: 가능한 상태와 행동을 따라가며 목표 상태에 도달하는 경로나 해답을 찾는 문제 해결 방식입니다. 모든 답을 미리 알고 있는 것이 아니라, 여러 후보를 비교하고 다음에 어디로 갈지 선택해 가며 답에 가까워지는 절차라고 볼 수 있습니다. 즉 탐색은 정답 공식을 한 번에 계산한다보다 가능한 길들 사이에서 유망한 경로를 찾아간다에 더 가깝습니다.
왜 중요한가: 규칙만으로 곧바로 답이 나오지 않을 때, 어떤 후보를 먼저 보고 어떤 순서로 찾아갈지 정하는 AI의 오래된 핵심 축이기 때문입니다. 이 개념이 있어야 문제 해결이 항상 공식 대입만은 아니라는 점을 이해하게 되고, 표현된 상태 공간 위에서 우선순위, 가지치기, 휴리스틱을 어떻게 쓰는지가 성능을 크게 바꾼다는 점도 읽게 됩니다. 예를 들어 길 찾기, 게임 수 읽기, 조합 최적화, 검색 인덱스 탐색은 겉모습은 달라도 모두 모든 후보를 다 볼 수 없을 때 무엇을 먼저 볼까라는 탐색 문제를 품고 있습니다. 결국 탐색을 이해해야 계산 한계(computational limit), 후보 전체 확인, 휴리스틱(heuristic)이 왜 한 묶음으로 등장하는지도 자연스럽게 연결됩니다.
함께 볼 개념: 휴리스틱(heuristic), 지식 표현(knowledge representation), 탐색 공간(search space)
뜻: 아직 충분히 시도하지 않은 행동을 일부러 해 보며 정보를 늘리는 선택입니다. 지금 당장 최고로 보이지 않더라도, 더 나은 전략이 숨어 있는지 확인하기 위해 일부러 새로운 행동을 시험하는 단계라고 볼 수 있습니다.
왜 중요한가: 현재 좋아 보이는 행동만 반복하면 더 나은 행동을 영영 발견하지 못할 수 있어, 강화학습에서 학습 자체를 가능하게 만드는 축이 되기 때문입니다. 이 개념이 있어야 지금 당장 점수가 높은 선택과 장기적으로 더 좋은 전략을 찾기 위한 시도를 구분하게 되고, 강화학습이 단순 최적 행동 반복으로는 성립하지 않는다는 점도 읽게 됩니다. 또한 탐험을 이해해야 실수처럼 보이는 선택이 사실은 정보 수집을 위한 합리적 시도일 수 있다는 점, 그리고 탐험 비율을 어떻게 조절하느냐가 학습 속도와 최종 성능 모두에 영향을 준다는 점도 함께 보게 됩니다.
함께 볼 개념: 활용(exploitation), 강화학습 정책(reinforcement learning policy), 보상(reward)
뜻: 스칼라, 벡터, 행렬을 포함해 딥러닝이 입력, 중간 표현, 출력을 담는 데 쓰는 다차원 숫자 배열의 일반 이름입니다. 몇 차원짜리 수치 묶음인가를 하나의 공통 언어로 묶어 부르는 표현입니다. 즉 텐서는 숫자가 한 개냐, 한 줄이냐, 표냐, 더 높은 차원의 묶음이냐를 하나의 틀에서 다루게 해 주는 계산 단위입니다.
왜 중요한가: 이미지, 문장, 오디오, 배치 데이터는 겉보기에는 다르지만 학습 프레임워크 안에서는 결국 텐서로 계산됩니다. 텐서라는 공통 이름을 알아야 도메인이 달라도 shape와 축 중심으로 계산을 해석할 수 있습니다. 이 개념이 있어야 이미지 모델, 언어 모델, 표 데이터 모델이 완전히 다른 계산처럼 보이더라도 실제로는 같은 배열 연산 언어 위에 놓인다는 점을 이해하게 됩니다. 또한 텐서는 같은 모양의 계산을 묶어 실행 자원에 맞게 처리하는 딥러닝 계산의 기본 단위이므로, 값 자체만이 아니라 각 축이 무엇을 뜻하는가를 함께 읽어야 합니다.
함께 볼 개념: 행렬(matrix), 벡터(vector), 스칼라(scalar)
중심 Section: P5-9.2
등장 Section: P2-1.1, P2-1.2, P5-9.1, P5-10.1, P5-summary
뜻: 모델이 텍스트를 처리하기 위해 나눈 기본 계산 단위입니다. 이 단위는 항상 단어와 같지 않아서, 한 단어가 여러 토큰으로 쪼개지거나 반대로 짧은 표현 몇 개가 하나처럼 다뤄질 수 있습니다. 즉 사람 눈에는 한 문장처럼 보여도, 모델 내부에서는 토큰들의 순서열로 바뀌어 계산됩니다.
왜 중요한가: 사람이 읽는 단어와 모델이 실제로 다루는 단위가 다를 수 있다는 점을 이해해야 다음 토큰 예측과 LLM 생성 과정을 올바르게 읽을 수 있기 때문입니다. 비용, 문맥 창 길이, 토큰 커버리지 문제도 모두 이 계산 단위에서 시작됩니다. 또한 토큰을 이해해야 글자 수가 비슷한데 왜 비용이 다르지 같은 질문을 더 정확히 해석하게 되고, 프롬프트 설계나 문맥 길이 제한을 문자 수가 아니라 실제 토큰 수 기준으로 보는 이유도 자연스럽게 이어집니다. 결국 토큰은 사람이 읽는 문장과 모델이 계산하는 입력 사이를 이어 주는 실제 계산 단위입니다.
함께 볼 개념: 다음 토큰 예측(next-token prediction), 언어 모델링(language modeling), 임베딩(embedding), 토큰화(tokenization), 문맥 창(context window)
뜻: 원문 텍스트를 모델이 읽을 수 있는 토큰 시퀀스로 바꾸는 절차입니다. 사람이 보기에는 한 문장이어도, 모델은 이 단계에서 잘린 토큰 조각들의 순서열로만 입력을 받으므로, 토큰화는 언어를 계산 단위로 번역하는 첫 관문이라고 볼 수 있습니다.
왜 중요한가: 같은 뜻의 문장도 어떻게 잘랐는지에 따라 토큰 수, 비용, 문맥 사용량, 검색 청크 경계, 생성 해석이 모두 달라질 수 있기 때문입니다. 이 개념이 있어야 모델이 문장 전체를 직접 읽는 것이 아니라 tokenizer가 만든 계산 단위를 읽는다는 점을 이해하게 되고, 언어·기호·공백 처리 방식이 실제 비용과 성능에 영향을 준다는 점도 자연스럽게 읽게 됩니다. 또한 토큰화가 달라지면 같은 모델 계열이라도 입력 길이 체감, 희귀어 처리, 비용 계산이 달라질 수 있어, 토큰화는 단순 전처리가 아니라 모델 사용 경험 자체를 바꾸는 설계 단계라는 점도 중요합니다.
함께 볼 개념: 토큰(token), 어휘 사전(vocabulary), 문맥 창(context window)
뜻: 말뭉치에서 관찰된 단어나 토큰의 빈도와 조건부 확률을 바탕으로 다음 표현의 가능성을 추정하는 언어 모델입니다. 언어를 의미를 완전히 이해하는 체계보다 어떤 표현이 얼마나 자주, 어떤 맥락 뒤에 나왔는가로 계산하는 초기 접근이라고 볼 수 있습니다. 즉 언어를 먼저 빈도와 확률의 문제로 바꾸어 다뤘던 전통적 계산 언어 모델 계열입니다.
왜 중요한가: LLM 이전에도 언어를 계산 가능한 확률 문제로 다루려는 흐름이 있었음을 보여 주며, 엔그램의 장점과 한계를 통해 신경망 언어 모델로 넘어가는 이유를 드러내기 때문입니다. 이 개념이 있어야 현대 언어 모델이 갑자기 등장한 것이 아니라, 빈도 기반 예측에서 분산 표현과 대규모 신경망으로 발전해 온 흐름 위에 있다는 점을 읽게 됩니다. 또 데이터 희소성이 왜 전통 언어 모델의 핵심 한계였는지도 더 분명하게 이해하게 됩니다. 결국 통계적 언어 모델은 현대 LLM의 직접 구조는 아니더라도, 언어를 다음 표현 확률 문제로 본다는 관점의 중요한 출발점입니다.
함께 볼 개념: 언어 모델(language model), 데이터 희소성(sparsity), 분산 표현(distributed representation)
뜻: 사용자가 AI가 어디에 개입했고 어떤 목적과 한계 안에서 쓰였는지 알 수 있게 드러내는 성질입니다. 모든 내부 계산을 다 보여 준다는 뜻이라기보다, 사용자가 결과를 해석하고 이의를 제기하는 데 필요한 핵심 경계를 숨기지 않는다는 뜻에 가깝습니다. 즉 투명성은 모든 것을 공개한다보다 판단에 필요한 중요한 정보를 감추지 않는다에 더 가깝습니다.
왜 중요한가: 모델 내부 계산을 모두 공개하지 않더라도 AI 사용 여부, 근거, 한계, 검토 가능성, 이의 제기 가능성을 알아야 결과를 맹신하지 않고 다시 읽을 수 있기 때문입니다. 투명성이 있어야 책임과 감독도 실제로 작동할 수 있고, 문제가 생겼을 때 무엇이 자동화 판단이었고 무엇이 사람 판단이었는지도 추적할 수 있습니다. 이 개념이 있어야 설명 한 줄을 붙이는 것과, 실제 검토 가능한 경계를 공개하는 것을 같은 말로 보지 않게 됩니다.
함께 볼 개념: AI 책임성(accountability), 인간 감독(human oversight), 검증 근거(supporting evidence), 출처 추적(provenance)
뜻: recurrence 없이 attention을 중심으로 시퀀스 안의 여러 위치가 서로를 참고하게 만드는 신경망 구조 계열입니다. 앞에서부터 하나씩만 넘겨 읽는 대신, 문장 안의 여러 위치 관계를 병렬적으로 비교하며 표현을 만드는 구조라고 볼 수 있습니다. 토큰 의미만으로는 순서를 알기 어렵기 때문에 별도의 위치 정보도 함께 공급합니다. 즉 트랜스포머는 현재 단어를 이해하려면 문장 전체의 다른 위치를 함께 참고하자는 발상을 구조적으로 밀어붙인 계열입니다.
왜 중요한가: 현대 LLM의 핵심 구조적 기반이지만, 사전학습과 스케일링 같은 다른 요소와 함께 읽어야 전체 역사를 올바르게 이해할 수 있기 때문입니다. 이 개념이 있어야 LLM의 핵심은 단순히 큰 모델이 아니라, attention 기반 구조와 대규모 학습 전략이 결합된 결과라는 점을 더 정확히 붙잡을 수 있습니다. 또한 트랜스포머를 이해해야 RNN 계열과 달리 긴 문맥 관계를 병렬적으로 다루는 방향으로 왜 구조적 전환이 일어났는지도 읽게 됩니다.
함께 볼 개념: 어텐션(Attention), 언어 모델링(language modeling), 순차 모델링(sequence modeling)
뜻: 입력으로 쓸 수 있는 많은 특징 가운데 현재 문제에 실제로 남길 특징을 고르는 과정입니다. 이미 만들 수 있는 입력 후보가 많을 때, 무엇을 넣고 무엇을 빼야 현재 문제를 더 잘 설명하는지 따져 정리하는 단계라고 볼 수 있습니다.
왜 중요한가: 특징을 무조건 많이 넣는다고 항상 좋아지지 않으므로, 정보량과 일반화 사이에서 어떤 입력 칸을 채택할지 따로 판단해야 하기 때문입니다. 이 개념이 있어야 입력 열을 많이 모으는 것과 좋은 표현을 만드는 것을 같은 일로 보지 않게 되고, 불필요한 특징이 과적합, 해석 혼란, 계산 비용 증가로 이어질 수 있다는 점도 읽게 됩니다. 또한 특징 선택을 이해해야 많이 넣는 것이 아니라 문제와 더 직접 연결된 단서를 남기는 것이 중요하다는 점, 그리고 누수 가능성이 있는 열을 빼는 일도 성능 저하가 아니라 품질 보전일 수 있다는 점도 함께 보게 됩니다.
함께 볼 개념: 특징(feature), 전처리(preprocessing), 데이터 누수(data leakage)
중심 Section: P4-7.1
등장 Section: P2-12.3, P4-index, P3-6.1, P4-7.3, P4-7.4, P4-15.2, P4-3.1
뜻: 모델이 입력으로 사용하는 값이나 단서입니다. 표의 열 하나일 수도 있고, 사람이 계산해 만든 지표일 수도 있으며, 딥러닝 안에서는 더 깊은 층이 만들어 낸 중간 활성값이 특징 역할을 할 수도 있습니다. 즉 특징은 원자료 전체가 아니라, 모델이 판단 근거로 삼도록 꺼내 쓴 정보 조각입니다.
왜 중요한가: 전통적 머신러닝에서는 사람이 많이 설계했고, 딥러닝에서는 더 깊은 표현으로 바뀌는 출발점이 됩니다. 무엇을 입력 단서로 볼 것인가를 구분해야 특징 선택, 전처리, 표현 학습의 차이도 선명해집니다. 이 개념이 있어야 입력 전체와 그 안에서 실제로 모델 판단에 쓰이는 단서를 구분하게 되고, 좋은 특징이란 단순히 많거나 복잡한 값이 아니라 문제와 더 잘 연결되는 정보라는 점도 함께 이해하게 됩니다. 결국 특징을 이해해야 데이터가 있다와 모델이 실제로 쓰는 정보가 있다를 분리해 읽게 됩니다.
함께 볼 개념: 표현(representation), 모델 입력 정의(model input), 파라미터(parameter), 특징 선택(feature selection), 표현 학습(representation learning)