뜻: 컴퓨터 시스템, 기계, 알고리즘이 인간 지능과 관련된 일부 기능을 수행하도록 연구·개발한 넓은 분야이자, 그런 기능을 구현한 시스템을 함께 가리키는 말입니다. 규칙 기반 판단, 검색, 학습, 생성, 계획 같은 여러 접근을 모두 품는 상위 범주이며, 특정 모델 이름이나 특정 유행 기술과 같은 말은 아닙니다.
왜 중요한가: 머신러닝, 딥러닝, 생성형 AI, LLM을 모두 같은 뜻처럼 섞지 않고, 어떤 층위의 문제와 시스템을 말하는지 구분하는 출발점이 되기 때문입니다. 이 개념이 있어야 AI를 쓴다는 말이 하나의 기술만 뜻하는 것이 아니라, 규칙 기반 접근부터 학습 기반 모델, 사용자 앱까지 여러 층을 포괄할 수 있다는 점을 이해하게 됩니다. 결국 AI는 개별 모델 이름보다 더 넓은 문제 영역과 시스템 범주를 붙잡는 말입니다. 또한 이 상위 개념이 분명해야 AI가 발전했다는 말이 모델 성능 향상인지, 제품 사용성 향상인지, 자동화 범위 확장인지 더 정확히 나누어 읽을 수 있습니다.
함께 볼 개념: 머신러닝(machine learning), 딥러닝(deep learning), 생성형 AI(generative AI), LLM(대규모 언어 모델)
뜻: 모델의 행동이 사람의 의도, 안전 기준, 정책 제약과 얼마나 맞는지를 다루는 설계 문제입니다. 단순히 말을 잘 알아듣는 수준이 아니라, 어떤 답을 내면 안 되는지와 어떤 상황에서 더 조심해야 하는지까지 포함한 행동 맞춤 문제에 가깝습니다. 따라서 AI 정렬은 성능이 높은가만이 아니라 그 성능이 어떤 방향으로 쓰이도록 길들여졌는가를 함께 묻는 개념입니다.
왜 중요한가: 지시를 잘 따르는 것만으로는 충분하지 않고, 유용성·안전성·사실성을 함께 고려한 허용 가능한 응답 경계를 따로 세워야 하기 때문입니다. 이 개념이 있어야 성능 향상과 안전한 배포가 같은 문제가 아니라, 서로 조정해야 하는 별도 문제임을 읽을 수 있습니다. 또한 AI 정렬은 모델 내부의 응답 성향을 다루는 문제이고, 권한·승인·운영 절차는 바깥 시스템의 통제 문제라는 점을 구분해야 전체 AI 시스템의 위험을 더 정확히 설명할 수 있습니다. 초심자 입장에서는 더 똑똑한 모델이 자동으로 더 안전한 모델을 뜻하지 않는다는 점을 이해하는 핵심 개념이기도 합니다.
함께 볼 개념: 지시 튜닝(instruction tuning), 프롬프트(prompt), 평가 지표(metric)
뜻: 대규모 텍스트 데이터를 바탕으로 다음 토큰 예측을 학습해, 문장 이어쓰기와 생성 능력을 보이는 언어 모델 계열입니다. 핵심은 문법 규칙을 손으로 적어 넣는 시스템이 아니라, 많은 언어 사용 사례에서 다음 표현이 어떻게 이어지는지 통계적으로 학습한 거대한 신경망이라는 점입니다. 따라서 LLM은 언어를 다루는 생성 모델을 가리키는 말이지, 챗봇 제품 전체나 AI 전체를 뜻하는 포괄어로 쓰면 층위가 섞이기 쉽습니다.
왜 중요한가: 오늘날 사용자가 가장 자주 만나는 생성형 AI 경험의 중심이지만, 동시에 기반 모델, 대화형 제품, 도구 연결 시스템을 구분하는 출발점이기 때문입니다. 이 개념이 있어야 LLM이 스스로 모든 최신 사실을 항상 알고 있는 것처럼 오해하지 않고, 사전학습된 모델 능력과 검색·도구 사용·운영 계층이 맡는 역할을 나누어 보게 됩니다. 또한 같은 생성형 AI라도 이미지 생성 모델, 음성 생성 모델과 무엇이 다른지, 그리고 같은 언어 모델이라도 생성 중심 계열과 표현 중심 계열이 왜 쓰임이 다른지도 더 자연스럽게 이어집니다.
함께 볼 개념: 생성형 AI(generative AI), 머신러닝(machine learning), 딥러닝(deep learning), 언어 모델(language model), 대화형 LLM(conversational LLM)
중심 Section: P1-1.3
등장 Section: P1-9.3, P4-1.1, P1-11.3, P6-1.2, P6-20.1, P6-summary
뜻: 사람의 선호 평가나 피드백을 보상 신호처럼 사용해 모델의 출력을 조정하는 학습 접근입니다. 이름에는 강화학습이 들어가지만, 일반적인 환경-행동-보상 문제 전체를 뜻하는 말은 아닙니다.
왜 중요한가: LLM 문맥에서 RLHF가 자주 나오지만, 이를 강화학습 전체와 같은 말로 받아들이면 개념 범위가 흐려지기 때문입니다. 이 개념이 있어야 사람 피드백으로 응답 성향을 조정하는 절차와, 에이전트가 환경 안에서 행동하며 장기 보상을 학습하는 일반 강화학습 문제를 구분할 수 있습니다.
함께 볼 개념: 강화학습(reinforcement learning), 인간 감독(human oversight), AI 정렬(AI alignment)
뜻: tokenizer가 만들 수 있는 token 조각과 그 조각에 대응하는 ID를 모아 둔 내부 목록입니다. 여기서의 vocabulary는 사람이 보는 국어사전이나 영어사전이 아니라, 모델 입력으로 들어갈 조각을 어떤 번호로 조회할지 정한 계산용 사전입니다.
왜 중요한가: 같은 문자열이라도 어떤 vocabulary와 분할 규칙을 쓰는지에 따라 token 조각, token 수, token ID가 달라질 수 있습니다. 이 개념이 있어야 token ID를 뜻풀이가 아니라 vocabulary 항목 번호로 읽고, tokenizer 차이가 비용과 문맥 길이에 영향을 주는 이유도 이해할 수 있습니다.
함께 볼 개념: 토큰(token), 토큰화(tokenization), token ID, 임베딩(embedding)
뜻: 출력을 만들 때 입력 시퀀스의 여러 위치 가운데 지금 더 관련 있는 부분을 가중치로 참고하는 구조입니다. 모든 입력을 똑같이 보지 않고, 현재 계산에 더 중요한 위치를 선택적으로 더 강하게 반영하는 방식이라고 볼 수 있습니다. 즉 attention은 전부 같은 비중으로 압축한다보다 지금 필요한 부분을 더 크게 본다는 선택적 참조 구조에 가깝습니다.
왜 중요한가: 긴 입력을 하나의 고정된 벡터에만 담는 병목을 줄이며, Transformer 이전과 이후 언어 모델 구조를 이해하는 핵심 전환점이기 때문입니다. 이 개념이 잡혀야 셀프 어텐션, 여러 attention head를 병렬로 쓰는 구조, 롱 컨텍스트 문제도 같은 흐름 위에서 읽힙니다. 또한 어텐션을 이해해야 모델이 입력을 단순 저장하는 것이 아니라, 현재 작업에 따라 참고 위치를 다르게 배분한다는 점도 더 자연스럽게 설명하게 됩니다.
함께 볼 개념: 트랜스포머(Transformer), 언어 모델링(language modeling), 셀프 어텐션(self-attention), 인코더-디코더(Encoder-Decoder)
중심 Section: P1-11.2
등장 Section: P1-9.3, P5-12.2, P5-13.1, P5-13.2, P5-14.1, P5-14.2, P6-4.2
뜻: 앞의 단어나 토큰 문맥을 바탕으로 다음에 올 표현의 가능성을 계산하거나, 단어열 전체에 확률을 부여하는 모델입니다. 즉 언어를 단순 규칙 모음으로 보는 대신, 어떤 표현이 얼마나 자연스럽게 이어지는가를 확률 문제로 다루는 모델 계열이라고 볼 수 있습니다. 그래서 언어 모델의 핵심은 정답 문장 하나를 외우는 데 있지 않고, 가능한 표현들의 분포를 다루는 데 있습니다.
왜 중요한가: LLM을 갑자기 등장한 챗봇이 아니라, 언어를 확률적으로 예측하고 평가하려는 오래된 문제 설정 위에서 읽게 해 주는 가장 직접적인 출발점이기 때문입니다. 이 개념이 있어야 챗봇 대화 경험을 넘어, 문장 생성과 다음 토큰 예측이 같은 뿌리에서 나온다는 점을 이해하게 되고, 통계적 언어 모델에서 신경망 언어 모델, 다시 LLM으로 이어지는 계보도 더 선명하게 보게 됩니다. 또한 언어 모델은 곧바로 대화형 제품을 뜻하는 것이 아니라, 그 위에 지시 튜닝과 도구 연결, UI가 더해져 오늘날의 챗봇 경험이 만들어진다는 점도 함께 구분하게 됩니다.
함께 볼 개념: 언어 모델링(language modeling), 통계적 언어 모델(statistical language model), 토큰(token)
중심 Section: P1-11.1
등장 Section: P1-10.2, P1-11.2, P1-11.3, P6-20.1, P6-20.2
뜻: 단어나 토큰의 순서를 바탕으로 다음에 올 표현의 확률을 다루는 문제입니다. 문장을 무슨 뜻인가만이 아니라 어떤 순서가 얼마나 자주 이어지는가라는 확률적 예측 문제로 바꾸어 다루는 설정이라고 볼 수 있습니다. 다시 말해 언어 모델링은 언어를 정답 문장 암기가 아니라, 시퀀스 분포를 추정하는 문제로 바꾸는 관점입니다.
왜 중요한가: LLM의 직접 계보가 이미지 생성이나 단순 대화 UI가 아니라, 언어 시퀀스를 확률적으로 다루는 문제 설정에 놓여 있다는 점을 보여 주는 출발점이기 때문입니다. 이 개념이 있어야 언어를 안다는 말을 막연한 이해가 아니라, 순서 있는 토큰열의 가능성을 모델링하는 계산 문제로 읽게 되고, 다음 토큰 예측이 왜 현대 LLM 설명의 핵심 축이 되는지도 자연스럽게 이어집니다. 또한 언어 모델링을 이해해야 통계적 빈도 기반 접근, RNN 계열 접근, Transformer 기반 접근이 서로 다른 모델이라도 같은 문제 틀 위에 놓인다는 점을 더 선명하게 보게 됩니다.
함께 볼 개념: 순차 모델링(sequence modeling), 트랜스포머(Transformer), 임베딩(embedding)
뜻: AI 시스템 문맥에서 목표를 받아 상태를 확인하고, 다음 행동을 선택하고, 실행 결과를 반영하며 여러 단계 작업을 이어 가는 실행 구조입니다. 일반 영어 단어 agent가 곧 AI를 뜻하는 것은 아니며, 여기서는 검색, 도구 호출, 검토, 재시도처럼 여러 단계를 운영하는 AI 서비스형 또는 시스템형 구조를 가리킵니다.
왜 중요한가: 챗봇의 한 번 답변과, 검색·도구 호출·검증을 이어 가는 서비스형 작업 구조를 구분하게 해 주기 때문입니다. 이 차이를 알아야 AI 에이전트 품질을 모델 품질 하나로만 판단하지 않게 됩니다. 이 개념이 있어야 모델이 똑똑하다와 작업을 끝까지 운영한다를 같은 말로 보지 않게 되고, 실패 원인이 계획, 도구 선택, 상태 추적, 종료 조건 중 어디에 있었는지도 더 분해해서 보게 됩니다. 또한 강화학습 에이전트처럼 학습 이론 속 주체와는 다른 층위의 용례라는 점을 함께 구분해야 혼동이 줄어듭니다.
함께 볼 개념: 에이전트 도구 사용(tool use), 관찰 결과(observation), 인간 감독(human oversight), 강화학습 에이전트(reinforcement learning agent)
뜻: 출력 쪽에서 계산된 손실이 각 파라미터에 얼마나 영향을 주는지 뒤에서 앞으로 계산하는 절차입니다. 더 정확히는 계산 그래프를 따라 연쇄 법칙을 적용해, 최종 오차가 중간 활성값과 가중치에 어떻게 나뉘어 전달되는지 구하는 과정입니다. 즉 마지막에 나온 틀림의 정도를 거꾸로 추적해, 각 층이 그 틀림에 얼마나 기여했는지 나누어 계산하는 방식입니다. 입력에서 출력과 손실을 계산하는 앞 방향 실행과 달리, 역전파는 손실에서 출발해 그래디언트를 되돌려 계산하는 뒤 방향 실행입니다.
왜 중요한가: 손실을 줄이려면 각 가중치를 어느 방향으로 얼마나 바꿔야 하는지 알아야 하고, 그 gradient를 효율적으로 계산하는 핵심 절차가 역전파이기 때문입니다. 이 개념이 잡혀야 신경망이 스스로 배운다는 말을 막연한 자동 조정이 아니라, 오차를 각 층의 수정 신호로 되돌려 보내는 계산 절차로 이해할 수 있습니다. 또한 층이 깊어져도 학습이 가능한 이유가 무작정 반복이 아니라, 각 연결의 기여도를 체계적으로 계산해 주는 절차 덕분이라는 점도 분명해집니다.
함께 볼 개념: 그래디언트(gradient), 손실 함수(loss function), 연쇄 법칙(chain rule)
중심 Section: P5-5.1
등장 Section: P1-5.1, P1-5.2, P2-4.4, P2-4.5, P2-4.6, P5-5.2, P5-6.1, P5-7.1
뜻: 합성함수에서 단계별 변화율을 이어 읽는 미분 규칙입니다. \(x \to y \to z\)처럼 계산이 이어질 때, \(x\)의 변화가 \(y\)를 거쳐 \(z\)에 얼마나 전달되는지 단계별 변화율을 곱해 확인합니다. 즉 연쇄 법칙은 앞 단계 변화가 뒤 결과까지 전달되는 경로를 수학적으로 읽는 규칙입니다.
왜 중요한가: 역전파(backpropagation)가 신경망의 많은 파라미터에 대한 그래디언트를 계산할 때 이 규칙을 사용하기 때문입니다. 연쇄 법칙을 이해하면 chain rule = backpropagation처럼 섞지 않고, 연쇄 법칙은 수학 규칙이며 역전파는 그 규칙을 이용한 계산 절차라고 구분할 수 있습니다. 이 개념은 손실의 변화가 여러 층을 거쳐 전달된다는 설명의 핵심입니다.
함께 볼 개념: 합성함수(composite function), 역전파(backpropagation), 그래디언트(gradient)
뜻: 가능한 항목 수만큼 긴 벡터를 만들고, 해당 항목 위치만 1로 두며 나머지는 0으로 두는 표현 방식입니다. 예를 들어 단어 10,000개를 구분해야 하면 한 단어는 10,000칸짜리 벡터에서 자기 위치 한 칸만 켜진 형태로 표현됩니다. 즉 원-핫 표현은 항목의 정체성은 분명히 나타내지만, 항목 사이의 의미적 가까움은 직접 담지 않는 표현입니다.
왜 중요한가: 임베딩과 분산 표현이 왜 필요한지 설명하는 가장 단순한 대비점이기 때문입니다. 원-핫 표현을 이해해야 단어를 숫자로 바꾼다가 곧 의미를 배운다는 뜻은 아니며, 같은 벡터 표현이라도 희소한 식별표와 조밀한 의미 표현은 다르다는 점을 구분할 수 있습니다. 또한 이 개념은 표현이라는 일반 단어가 식별용 부호인지, 학습된 의미 좌표인지에 따라 다르게 읽혀야 한다는 점을 보여 줍니다.
함께 볼 개념: 조밀한 벡터(dense vector), 임베딩(embedding), 분산 표현(distributed representation), 데이터 희소성(sparsity)
뜻: 학습이 끝난 모델의 가중치 파일을 사용자가 내려받아 직접 실행하거나 조정할 수 있게 공개한 모델입니다. 다만 가중치가 공개되었다고 해서 학습 데이터, 학습 코드, 평가 절차, 사용 권리가 모두 열린 것은 아닙니다.
왜 중요한가: 오픈웨이트 모델은 공개 API와 달리 실행 위치, 비용 구조, 데이터 위치, 파인튜닝 가능성을 사용자가 더 직접 통제할 수 있게 합니다. 대신 라이선스 확인, 하드웨어 확보, 안전 필터, 업데이트, 평가 책임도 사용자 쪽으로 이동하므로 다운로드 가능과 자유롭게 사용 가능을 구분해야 합니다.
함께 볼 개념: 가중치(weight), 파라미터(parameter), 자료 라이선스(license), 모델 실행(inference)
뜻: 모델 실행 중 모든 가중치와 중간 계산을 GPU VRAM에 계속 올려 두지 않고, 당장 쓰지 않는 module이나 가중치를 CPU 메모리 쪽에 두었다가 필요한 시점에 GPU로 옮기는 메모리 운용 방식입니다.
왜 중요한가: 큰 이미지 생성 모델이나 언어 모델을 제한된 GPU 메모리에서 실행할 때, 실행 가능성과 품질 판정을 분리해서 기록하게 해 주기 때문입니다. CPU offloading은 out-of-memory 위험을 줄일 수 있지만, 모델의 prompt 이해력이나 생성 품질을 직접 높이는 방법은 아닙니다.
함께 볼 개념: 계산 한계(computational limit), 텐서(tensor), 추론(inference), 오픈웨이트 모델(open-weight model)
뜻: LLM이 프롬프트를 입력으로 받아 자연어 응답을 만들어 내는 실행입니다. 학습된 파라미터와 입력 프롬프트, 샘플링 설정을 사용해 출력 토큰을 이어 가는 과정으로 볼 수 있습니다.
왜 중요한가: LLM의 inference 결과는 분류 라벨이나 숫자보다 자연어 문장으로 보이는 경우가 많아, 모델 실행과 실제 사고 과정을 쉽게 섞어 읽기 때문입니다. 이 개념이 있어야 응답이 자연스럽게 생성되더라도 그 내용의 사실성, 근거, 논리 연결은 별도로 검토해야 함을 이해하게 됩니다.
함께 볼 개념: 추론(inference), 프롬프트(prompt), 샘플링(sampling)
뜻: 주어진 입력이나 현재 정보에서 다음 값, 상태, 범주, 사건이 어떻게 될지 추정하는 일입니다. 머신러닝에서는 숫자를 맞히는 회귀와 범주를 맞히는 분류를 모두 넓게 보면 예측의 하위 형태로 읽을 수 있습니다. 즉 예측은 앞으로 무슨 일이 벌어질까뿐 아니라 이 입력은 어떤 결과에 해당할까까지 포함하는 넓은 문제 틀입니다.
왜 중요한가: 머신러닝에서는 분류와 회귀도 넓게 보면 예측 문제로 읽히므로, 입력과 현재 정보를 바탕으로 어떤 결과를 추정하는가를 문제 유형 차원에서 먼저 구분해야 하기 때문입니다. 또 예측을 미래 전망과 같은 말로 뭉개지지 않게 해 줍니다. 이 개념이 있어야 무엇을 알아차리는가를 묻는 인식, 무엇을 추천할까를 묻는 순위화, 무엇을 실제로 할까를 묻는 제어를 각각 다른 문제로 구분해 읽을 수 있습니다. 결국 예측을 이해해야 같은 추정 행위도 출력이 숫자인지, 범주인지, 행동 선택인지에 따라 다른 문제로 갈라진다는 점을 읽게 됩니다.
함께 볼 개념: 분류(classification), 회귀(regression), 미래 전망(forecast), 확률 추정값(probability estimate)
뜻: 추정값이나 예측값과 실제 값 사이의 차이입니다. 핵심은 틀렸는가만이 아니라 얼마나, 어느 방향으로 벗어났는가를 함께 보는 데 있습니다. 그래서 오차는 단순 실패 표시가 아니라, 예측이 얼마나 빗나갔는지 측정하는 수치적 차이로 읽어야 합니다.
왜 중요한가: 모델 평가와 통계 추정이 모두 완전히 맞는 것이 아니라 차이를 줄이고 해석하는 과정임을 보여 주기 때문입니다. 이 개념이 있어야 손실 함수가 왜 필요한지, 그리고 큰 오차와 작은 오차를 다르게 다루는 이유도 함께 이해하게 됩니다. 또한 오차의 부호와 크기를 함께 보면 항상 한쪽으로 치우쳐 틀리는가와 무작위로 흔들리는가를 구분하게 되어, 단순 성능 저하와 체계적 편향을 더 분명히 읽게 됩니다. 결국 오차를 읽을 수 있어야 모델이 좋다/나쁘다를 넘어서 어떤 방식으로 빗나가는가까지 진단하게 됩니다.
함께 볼 개념: 추정(estimation), 손실(loss), 표본(sample)
중심 Section: P2-5.3
등장 Section: P2-5.4, P2-6.1, P2-6.3, P2-15.1, P4-10.2
뜻: 입력에서 최종 출력까지 이어지는 여러 단계를 하나의 학습 가능한 구조 안에서 함께 조정하는 접근입니다. 중간 단계마다 사람이 따로 규칙을 고정하기보다, 전체 목표에 맞춰 모델 파라미터를 함께 맞추는 방식입니다.
왜 중요한가: 객체 검출 같은 사례에서 딥러닝이 후보 생성, 특징 추출, 분류 같은 여러 단계를 하나의 예측 문제로 다시 묶었다는 설명을 이해하게 해 주기 때문입니다. 다만 엔드투엔드는 모든 중간 설계가 사라진다는 뜻이 아니라, 최종 목표를 기준으로 연결된 구조를 함께 학습할 수 있다는 뜻으로 구분해야 합니다.
함께 볼 개념: 객체 검출(object detection), 모델링 출력 구조(output structure)
뜻: 위상은 공간에서 좌표값이나 거리 자체보다 열린집합, 근방, 연결성, 연속성처럼 공간의 구조를 다루는 수학적 관점입니다. P2-3.2의 위치(position)가 벡터 하나의 좌표 같은 자리를 말한다면, 위상은 좌표 하나보다 공간 전체의 연결 관계와 연속적 구조를 더 넓게 봅니다. 즉 위상은 단순한 위치와 같은 말이 아닙니다.
왜 중요한가: AI 문서에서 표현 공간의 위상, 데이터 매니폴드 같은 표현이 나오면, 개별 벡터 좌표보다 데이터 표현들이 이루는 전체 구조를 말하는 경우가 있기 때문입니다. 이 구분이 있어야 초심자가 위치, 거리, 위상을 모두 같은 공간 비유로 뭉개지 않고 읽을 수 있습니다. 여기서는 표준 수학 용어인 위상을 표현 공간 맥락에서만 짧게 안내하고, 위상수학 전체를 전개하지는 않습니다.
함께 볼 개념: 벡터 공간(vector space), 차원(dimension), 매니폴드(manifold)
뜻: 질문이나 문서의 벡터 표현과 가까운 다른 벡터를 찾아 관련 후보를 고르는 방식입니다. 문자열이 정확히 같은지를 찾기보다, 의미적으로 비슷한 후보를 표현 공간에서 가깝게 찾는 검색에 가깝습니다. 즉 같은 단어가 있는가보다 비슷한 뜻과 맥락인가를 기준으로 문서 조각이나 예시를 끌어오는 검색 방식이라고 볼 수 있습니다.
왜 중요한가: RAG에서 질문과 관련된 문서 조각을 찾는 핵심 단계이며, 임베딩을 실제 검색 흐름으로 연결하기 때문입니다. 이 개념이 있어야 임베딩이 단순 저장 형식이 아니라 검색 가능한 표현이라는 점이 분명해집니다. 또한 유사도 검색을 이해해야 키워드 검색과 벡터 검색이 경쟁 관계만은 아니라는 점, 어떤 문제에서는 둘을 함께 써야 더 안정적인 검색이 된다는 점도 자연스럽게 읽게 됩니다. 결국 유사도 검색은 정확히 같은 표현 찾기보다 가까운 의미의 후보 찾기에 강한 검색이라는 점이 핵심입니다.
함께 볼 개념: 임베딩(embedding), 검색 증강 생성(retrieval-augmented generation, RAG), 벡터(vector), 유사도(similarity), 벡터 검색(vector search)
뜻: 두 벡터나 두 표현이 얼마나 비슷한 방향이나 특성을 가지는지 보는 비교 기준입니다. 같은 단어를 쓰지 않아도 의미상 가까운지, 같은 문맥에서 비슷하게 쓰였는지를 수치로 비교하는 기준이라고 볼 수 있습니다. 벡터 공간에서는 절대 위치보다 두 표현이 얼마나 비슷한 방향을 향하는지가 중요할 때가 많습니다.
왜 중요한가: 유사도 검색이 단순 문자열 일치가 아니라, 표현 공간에서 얼마나 가깝게 쓰였는지를 기준으로 후보를 고른다는 점을 이해하게 해 주기 때문입니다. 거리와 유사도를 함께 알아야 가깝다는 말이 무엇을 뜻하는지 더 정확히 읽힙니다. 또한 유사도를 이해해야 높은 유사도 값이 곧 사실 정답을 뜻하는 것은 아니라는 점, 비슷한 표현을 찾는 일과 옳은 근거를 찾는 일이 완전히 같은 작업은 아니라는 점도 구분하게 됩니다. 결국 유사도는 같은가를 묻는 기준이 아니라 얼마나 비슷한가를 수치화하는 기준입니다.
함께 볼 개념: 거리(distance), 코사인 유사도(cosine similarity), 유사도 검색(similarity search), 벡터 공간(vector space)
뜻: 시간 순서로 이어진 오디오 신호를 새로 만들어 내는 문제 유형입니다. 텍스트처럼 토큰 몇 개를 고르는 일이 아니라, 시간축을 따라 연속적으로 변하는 소리 파형이나 음향 특징을 실제로 구성하는 생성 문제라고 볼 수 있습니다. 즉 음성 생성은 소리 내용을 고른다보다 들릴 수 있는 신호를 만들어 낸다에 더 가깝습니다. 텍스트 입력을 사람이 들을 수 있는 음성 출력으로 바꾸는 TTS는 음성 생성의 대표 응용 사례로 설명할 수 있습니다.
왜 중요한가: 딥러닝이 이미지 분류를 넘어 순차적 파형 생성 같은 다른 출력 구조로 확장된 흐름을 보여 주는 대표 사례이기 때문입니다. 이 개념이 있어야 생성이 텍스트나 이미지에만 국한된 문제가 아니라, 시간축을 가진 연속 신호를 다루는 문제로도 확장된다는 점을 이해하게 되고, TTS와 일반 음성 생성의 경계도 더 또렷하게 읽게 됩니다. 예를 들어 TTS는 입력 텍스트가 주어진 상태에서 그 문장을 읽는 음성을 만드는 문제지만, 음성 생성은 더 넓게는 특정 스타일의 음향 신호나 발화 흐름 자체를 만드는 문제까지 포함할 수 있습니다. 결국 음성 생성을 이해해야 생성형 AI의 범위를 텍스트 중심으로만 좁혀 보지 않게 되고, 오디오라는 다른 출력 층위의 특수성도 함께 읽게 됩니다.
함께 볼 개념: 생성(generation), 순차 모델링(sequence modeling)
뜻: 입력 이미지에 무엇이 있는지, 어떤 범주에 속하는지 예측하는 문제 유형입니다. 사진 전체를 보고 하나의 라벨을 붙이는 분류부터, 장면 안의 물체와 상태를 읽는 더 넓은 시각 인식 문제의 출발점으로 볼 수 있습니다. 즉 이미지 인식은 픽셀 배열을 사람에게 의미 있는 시각 범주로 연결하는 문제라고 볼 수 있습니다.
왜 중요한가: 딥러닝이 사람이 직접 입력 단서를 설계하던 흐름에서 표현 학습 중심으로 전환되는 과정을 가장 선명하게 보여 준 대표 사례이기 때문입니다. 이 개념이 있어야 픽셀 자체는 숫자 배열이지만, 학습은 그 안에서 모서리, 질감, 형태, 객체 같은 더 높은 수준 표현을 스스로 잡아 갈 수 있다는 점을 이해하게 됩니다. 또한 이미지를 본다는 일상 표현이 실제로는 분류, 검출, 분할처럼 더 세분된 문제들로 나뉠 수 있다는 감각도 얻게 됩니다. 결국 이미지 인식을 이해해야 그림을 본다는 말이 실제로는 여러 시각 문제 유형으로 분해된다는 점을 읽게 됩니다.
함께 볼 개념: 합성곱 신경망(CNN, convolutional neural network), 특징(feature), 학습된 표현(learned representation)
중심 Section: P1-9.1
등장 Section: P1-9.2, P1-9.3, P1-10.1, P5-2.1, P5-11.1, P5-11.2
뜻: 전체 값 흐름에서 다른 값들에 비해 유난히 멀리 떨어져 보이는 값입니다. 다만 눈에 띄게 튄다는 사실만으로 자동으로 잘못된 값이라고 결론내릴 수는 없고, 입력 실수일 수도 있고 드문 실제 사건일 수도 있으며, 아예 중요한 위험 신호일 수도 있습니다.
왜 중요한가: 이상값은 입력 오류, 측정 문제, 매우 드문 실제 사례 가운데 어느 쪽일 수 있어, 그냥 버릴 값인지 중요한 경고 신호인지 먼저 구분해야 하기 때문입니다. 이 개념이 있어야 분포를 볼 때 평균 근처의 일반 패턴만 보지 않고, 극단값이 전체 해석과 모델 학습에 어떤 영향을 주는지도 함께 따지게 됩니다. 특히 작은 데이터셋에서는 몇 개의 이상값만으로도 평균, 분산, 회귀선이 크게 흔들릴 수 있다는 점을 붙잡게 됩니다. 결국 이상값 해석은 튀는 값을 지운다가 아니라, 왜 튀는가를 먼저 묻는 절차입니다.
함께 볼 개념: 분포(distribution), 데이터 시각화(visualization)
중심 Section: P2-13.1
등장 Section: P2-5.2, P2-5.4, P2-13.2, P3-5.2, P4-2.2, P4-10.2, P4-10.3
뜻: 사람이 AI 결과를 실제로 검토하고, 필요하면 멈추고, 다시 판단할 수 있게 만드는 구조입니다. 단순히 사람이 마지막에 이름만 붙이는 절차가 아니라, 중단, 수정, 반려 권한이 실제로 살아 있는 통제 구조를 뜻합니다. 즉 인간 감독은 자동화 바깥에서 비판하는 태도만이 아니라, 실제 시스템 안에 사람 개입 지점을 설계하는 문제입니다.
왜 중요한가: 고위험 판단과 자동화에서 형식적 승인만으로는 피해를 막기 어렵기 때문입니다. 사람의 개입 지점이 실질적이어야 안전성과 책임이 문서상 구호에 그치지 않습니다. 이 개념이 있어야 사람이 있다는 사실과 사람이 실제로 멈추고 수정할 수 있다는 조건을 구분하게 됩니다. 또한 인간 감독을 이해해야 검토자가 언제 개입하는지, 무엇을 보고 판단하는지, 실제로 실행을 멈출 권한이 있는지까지 함께 설계해야 한다는 점도 더 분명히 읽게 됩니다.
함께 볼 개념: AI 시스템 안전성(safety), AI 책임성(accountability), 모델 검증(model validation), 도구 실행 권한(permission)
뜻: 필요한 범위 안에서 외부 표현의 일부를 출처와 함께 가져와 설명, 비평, 검토에 사용하는 일입니다. 핵심은 남의 표현을 통째로 대신 쓰는 것이 아니라, 내 설명이 중심인 상태에서 꼭 필요한 부분만 보조 근거로 끌어오는 데 있습니다. 즉 인용은 자료를 참고했다는 막연한 말보다 더 좁고 엄격한 사용 방식입니다.
왜 중요한가: 공개 배포 원고에서 자료를 보수적으로 사용하면서도 검증 가능한 근거를 제시하려면 인용의 경계를 구분해야 하기 때문입니다. 이 개념이 있어야 출처를 달았다는 사실만으로 모든 재사용이 정당화되는 것은 아니라는 점을 이해하게 되고, 내 설명이 중심인지 외부 표현이 중심인지도 함께 점검하게 됩니다. 예를 들어 개념 차이를 설명하기 위해 논문 한 문장을 짧게 가져오는 것과, 교재의 설명 단락을 길게 옮겨 적는 것은 모두 출처가 있다고 해도 같은 성격의 사용이 아닙니다. 결국 인용을 이해해야 근거 제시와 표현 재사용을 같은 말로 섞지 않게 되고, 저작권과 출처 검토를 더 신중하게 연결하게 됩니다.
함께 볼 개념: 저작권(copyright), 저작권의 표현(protected expression), 출처 표시(attribution)
뜻: 시스템이 누구인지, 접근해도 되는지, 이 요청이 유효한지를 확인할 때 쓰는 비밀번호, API 키, 토큰(token), 쿠키(cookie) 같은 증명 수단입니다. 단순 참고 정보가 아니라, 이 값이 있으면 실제 계정, 세션, 외부 서비스 권한을 대신 행사할 수 있다는 점이 핵심입니다. 즉 인증 정보는 설명용 데이터가 아니라 곧바로 접근 권한으로 이어질 수 있는 작동 값입니다.
왜 중요한가: 생성형 AI 입력, 로그, 테스트 출력에 이런 값이 섞이면 단순 정보 노출을 넘어서 실제 계정 탈취나 외부 서비스 오남용으로 이어질 수 있기 때문입니다. 이 개념이 있어야 개인정보는 아니지만 절대 넣으면 안 되는 값이 있다는 점을 이해하게 되고, 비밀 정보와 민감 정보를 더 구체적인 실행 위험과 연결해 읽게 됩니다. 또한 인증 정보를 이해해야 입력 금지 규칙, 마스킹, 비저장 원칙, 최소 권한 설계가 왜 단순 보수성이 아니라 실제 피해를 줄이는 기본선인지도 더 분명하게 보게 됩니다.
함께 볼 개념: 민감 정보(sensitive information), 비밀 정보(confidential information), 보안(security), 도구 실행 권한(permission)
뜻: 입력 전체를 읽어 문맥이 반영된 내부 표현을 만드는 구성 요소입니다. 바깥의 문장이나 시퀀스를 바로 최종 답으로 내보내기보다, 먼저 모델이 다루기 좋은 내부 벡터 표현으로 바꾸는 읽기 단계라고 이해할 수 있습니다. 즉 인코더는 원본 기호열을 그대로 들고 가기보다, 이후 계산이 활용할 수 있는 요약된 표현 층으로 바꾸는 해석 장치입니다.
왜 중요한가: 인코더 중심 모델과 Encoder-Decoder 구조를 이해할 때, 입력을 어떻게 표현으로 바꾸는지 설명하는 핵심 역할이기 때문입니다. 이 개념이 있어야 입력을 읽는 부분과 출력을 만들어 내는 부분을 분리해 볼 수 있고, 인코더 중심 모델과 디코더 중심 모델의 역할 차이도 더 분명히 이해할 수 있습니다. 또한 인코더를 이해해야 분류, 검색, 의미 비교처럼 좋은 내부 표현을 만드는 일이 중심인 과제와, 실제 문장을 이어 생성하는 과제를 다른 층위로 설명하게 됩니다.
함께 볼 개념: 디코더(decoder), 인코더-디코더(Encoder-Decoder), 문맥적 표현(contextual representation)
뜻: 입력 시퀀스를 읽어 내부 표현으로 압축하는 부분과, 그 표현을 바탕으로 출력 시퀀스를 생성하는 부분을 나눈 구조입니다. 즉 먼저 읽고, 그다음 그 읽은 내용을 바탕으로 새 시퀀스를 만든다는 두 단계 구조를 명시적으로 나눈 방식입니다.
왜 중요한가: 번역과 요약처럼 입력을 읽고 다른 형태의 출력을 만든다는 문제를 신경망이 어떻게 나누어 처리했는지 가장 분명하게 보여 주기 때문입니다. 이 개념이 있어야 입력을 이해하는 단계와 출력을 생성하는 단계를 분리해 읽게 되고, 왜 고정 길이 벡터 병목이 생겼는지, 또 attention이 왜 필요한 보강으로 등장했는지도 자연스럽게 이어집니다. 또한 인코더-디코더를 이해해야 인코더 중심, 디코더 중심, 번역기류 모델이 같은 언어 모델 계보 안에서도 입력 처리와 출력 생성의 배치를 어떻게 다르게 잡았는지 비교하기 쉬워집니다.
뜻: 학습하지 않은 새 데이터에도 어느 정도 맞는 관계를 찾는 상태입니다. 즉 훈련 때 본 사례를 그대로 외우는 것이 아니라, 처음 보는 사례에도 통할 만큼 더 넓은 규칙이나 패턴을 붙잡았다는 뜻에 가깝습니다. 핵심은 훈련 데이터에 맞았다를 넘어서 비슷한 새 상황에도 이어질 수 있다는 데 있습니다.
왜 중요한가: 학습이 단순 암기와 다르다는 점을 설명하는 핵심 기준입니다. 이 개념이 있어야 훈련 점수가 좋아도 왜 검증과 테스트가 따로 필요한지, 그리고 과적합과 과소적합이 결국 일반화 실패의 서로 다른 모습이라는 점도 함께 이해하게 됩니다. 또한 모델 평가가 얼마나 잘 외웠는가보다 처음 보는 사례에도 얼마나 버티는가를 묻는 일이라는 점을 더 분명하게 만들어 줍니다. 결국 일반화를 이해해야 성능이란 훈련 데이터 적합도가 아니라, 새로운 상황에서도 유지되는지까지 포함한 개념이라는 점을 읽게 됩니다.
뜻: 출력 숫자를 실제 행동으로 바꿀 때 기준선으로 사용하는 값입니다. 같은 점수라도 어디서 잘라 자동 처리할지, 사람 검토로 돌릴지, 경고를 띄울지를 정하는 경계선이라고 볼 수 있습니다. 즉 임계값은 모델이 계산한 점수 위에 추가로 놓이는 운영 판단 장치일 수 있습니다.
왜 중요한가: 모델이 낸 점수나 확률 그 자체와, 그 숫자를 바탕으로 자동 처리·보류·사람 검토를 가르는 운영 기준을 분리해 읽게 해 주기 때문입니다. 이 개념이 있어야 0.8이 나왔다는 예측 결과와 0.8 이상이면 승인한다는 운영 판단을 같은 말로 보지 않게 되고, 임계값을 어디에 두느냐에 따라 오탐과 미탐, 자동화 범위, 사람 검토 부담이 함께 달라진다는 점도 이해하게 됩니다. 또한 threshold를 바꾸는 일은 모델을 다시 학습하는 일과 다를 수 있으므로, 성능 문제와 정책 문제를 섞지 않고 읽는 데도 중요합니다.
함께 볼 개념: 확률 추정값(probability estimate), 확률 보정(probability calibration), 분류(classification)
뜻: 모델이 틀렸을 때 실제 운영에서 생기는 손실이나 부담입니다. 같은 오류라도 위험 사례를 놓치는 비용, 불필요한 검토를 늘리는 비용, 자동 조치가 잘못 나가는 비용처럼 형태가 다를 수 있습니다.
왜 중요한가: 정확도가 같아도 어떤 오류가 더 비싼지에 따라 좋은 threshold와 검토 큐 운영 방식이 달라지기 때문입니다. 이 개념이 있어야 false negative와 false positive를 단순한 개수로만 보지 않고, 현재 문제에서 무엇을 더 줄여야 하는지 먼저 정할 수 있습니다.
함께 볼 개념: 거짓 음성(false negative), 거짓 양성(false positive), 임계값(threshold), 인간 감독(human oversight)
뜻: 텍스트, 토큰, 문장, 문서 같은 입력을 모델과 검색 시스템이 비교할 수 있는 벡터 표현으로 바꾸는 방식입니다. 사람이 읽는 기호를 바로 계산하는 대신, 비슷한 의미나 용법이 가까운 위치에 놓이도록 수치 공간에 옮겨 놓는 표현층이라고 볼 수 있습니다. 즉 임베딩은 원래 표현을 버리는 것이 아니라, 비교와 계산에 더 잘 맞는 좌표 표현으로 다시 바꾸는 단계입니다.
왜 중요한가: 단어와 토큰을 조밀한 벡터 표현으로 바꿔 비슷한 문맥의 일반화를 가능하게 하고, 뒤에서는 유사도 검색과 RAG의 출발점이 되기 때문입니다. 임베딩을 단순 저장 형식이 아니라 의미 비교를 가능하게 하는 표현 장치로 이해해야 벡터 검색도 자연스럽게 이어집니다. 또한 임베딩을 이해해야 같은 문장을 문자열 일치가 아니라 의미적 가까움으로 비교하는 방식이 왜 가능한지도 더 분명히 읽게 됩니다.
함께 볼 개념: 분산 표현(distributed representation), 유사도 검색(similarity search), 벡터(vector), 표현(representation)
뜻: 현재 작업이나 응답을 이해하도록 모델 입력에 함께 제공하는 배경 정보, 대상 문서, 상황 설명의 묶음입니다. 단순 보조 설명이 아니라, 같은 지시문이 들어와도 어떤 자료와 어떤 상황 안에서 읽어야 하는지를 정해 주는 해석 조건이라고 볼 수 있습니다.
왜 중요한가: 같은 지시라도 어떤 독자, 어떤 자료, 어떤 범위를 입력 맥락으로 함께 주는지에 따라 출력 방향이 크게 달라지므로, 프롬프트를 단순 질문이 아니라 조건 있는 입력으로 읽게 해 주기 때문입니다. 이 개념이 있어야 모델이 무엇을 하라는 문장 하나만 보고 답하는 것이 아니라, 함께 준 배경과 문서 조각을 바탕으로 해석 방향을 바꾼다는 점을 이해하게 되고, RAG나 긴 문서 요약에서 무엇을 맥락으로 넣을지 판단하는 기준도 잡게 됩니다. 결국 입력 맥락은 답변의 장식 정보가 아니라, 모델이 무엇을 중요하게 읽을지를 바꾸는 해석 조건입니다. 또한 입력 맥락을 잘못 넣으면 관련 없는 자료가 판단을 흔들 수 있으므로, 많이 넣는 것보다 무엇을 남기고 무엇을 빼는지가 더 중요하다는 점도 함께 읽어야 합니다.
함께 볼 개념: 프롬프트(prompt), 프롬프트 구조화(prompt structuring), 문맥 내 학습(in-context learning)