뜻: 현재 문맥을 바탕으로 다음에 올 토큰 후보들의 분포를 계산하고 그중 하나를 이어 가는 생성 방식입니다. 한 문장 전체를 미리 완성해 두는 것이 아니라, 현재까지의 문맥에서 다음 한 조각이 무엇일 가능성이 큰가를 계속 다시 묻는 과정입니다. 그래서 생성은 한 번에 끝나는 답안 출력이라기보다, 짧은 선택을 매우 많이 이어 붙여 문장을 만들어 가는 절차라고 볼 수 있습니다.
왜 중요한가: LLM 텍스트 생성이 문장을 통째로 꺼내는 방식이 아니라, 토큰 단위의 순차 생성으로 이해된다는 점을 가장 직접적으로 보여 주기 때문입니다. 이 개념이 있어야 temperature, 샘플링, context window, 토큰화 같은 여러 설정이 왜 실제 생성 결과를 바꾸는지 더 자연스럽게 이어집니다. 또한 앞쪽에서 선택한 토큰이 뒤쪽 선택의 문맥이 되므로, 초기 몇 단계의 차이가 문장 전체 분위기와 내용에 연쇄적으로 영향을 준다는 점도 이해하게 됩니다.
함께 볼 개념: 토큰(token), 언어 모델링(language modeling), 샘플링(sampling)
중심 Section: P1-10.2
등장 Section: P5-15.1, P5-15.2, P6-4.1, P6-5.1, P6-7.1, P6-7.2
뜻: 가중합과 활성화 같은 계산 단위를 여러 층으로 쌓아 중간 표현을 단계적으로 만드는 신경망 구조입니다. 앞 층이 만든 표현을 다음 층이 다시 가공하면서, 단순한 신호에서 더 추상적인 특징으로 올라가는 구조라고 이해하면 됩니다. 즉 다층 신경망은 한 번 바로 분류한다보다 여러 단계의 중간 표현을 거쳐 판단한다는 구조에 가깝습니다.
왜 중요한가: 한 번의 선형 판단으로 만들 수 없는 더 복잡한 경계와 표현을 설명할 수 있어, 딥러닝이 깊어지는 이유를 보여 주기 때문입니다. 이 개념이 있어야 층이 많아진다는 말이 단순 계산 반복이 아니라, 표현 수준을 단계적으로 바꾸는 일이라는 점이 드러납니다. 또한 다층 신경망을 이해해야 깊다는 표현이 단순히 파라미터 수가 많다는 뜻이 아니라, 중간 표현 변환 단계가 여러 층으로 쌓였다는 뜻이라는 점도 더 분명해집니다. 결국 다층 신경망은 한 번의 선형 판단을 여러 단계 표현 변환으로 확장한 기본 구조입니다.
함께 볼 개념: 가중합(weighted sum), 표현(representation), 활성화 함수(activation function)
뜻: 다음 토큰을 생성하는 LLM 위에 지시 따르기, 대화 형식 유지, 안전 조정, 인터페이스 계층이 더해져 사용자가 질문-응답 시스템처럼 경험하는 형태입니다. 즉 기반 모델 하나만이 아니라, 대화 규칙과 제품 동작이 함께 붙어 대화 상대처럼 보이는 사용 경험을 만든 결과물에 가깝습니다. 다시 말해 대화형 LLM은 언어 모델과 대화 제품이 겹쳐진 층위의 개념입니다.
왜 중요한가: 오늘날 사용자가 만나는 챗봇 경험이 단순 자동완성 모델 하나로 닫히지 않고, 조정과 제품 계층이 함께 붙은 결과라는 점을 이해하게 해 주기 때문입니다. 이 개념이 있어야 LLM과 챗봇 제품을 같은 것으로 섞지 않고, 모델 능력과 제품 설계 책임을 나누어 볼 수 있습니다. 예를 들어 같은 기반 모델이라도 시스템 프롬프트, 안전 정책, 도구 연결, UI 흐름이 달라지면 사용자가 느끼는 대화 품질은 크게 달라질 수 있습니다. 또한 대화형 LLM을 이해해야 자연스럽게 답한다는 특성이 모델 내부 능력인지, 아니면 대화 형식과 조정 규칙이 만든 결과인지 더 조심해서 구분하게 됩니다.
함께 볼 개념: 언어 모델(language model), 사전학습(pretraining), 지시 튜닝(instruction tuning)
뜻: 예측 시점에는 알 수 없는 정보가 학습 과정에 미리 섞여 들어가 평가를 부당하게 좋게 만드는 문제입니다. 모델이 진짜로 패턴을 배운 것이 아니라, 미래 정보나 정답에 너무 가까운 힌트를 몰래 본 상태라고 이해하면 됩니다. 즉 데이터 누수는 성능 향상이 아니라, 실험 경계가 무너져 공정한 평가가 깨진 상태에 가깝습니다.
왜 중요한가: 테스트 데이터에서 배운 기준이나 정답과 너무 가까운 열이 입력에 섞이면 모델 성능을 잘못 해석하게 되므로, 데이터 분리와 전처리 순서를 올바르게 잡는 핵심 이유가 되기 때문입니다. 이 개념이 있어야 점수가 높다는 사실만 보고 모델을 신뢰하지 않고, 그 점수가 공정한 절차에서 나온 것인지 먼저 점검하게 됩니다. 또한 데이터 누수를 이해해야 모델 구조를 바꾸기 전에 실험 설계와 특징 구성 자체를 의심해야 하는 상황을 더 빨리 알아차리게 됩니다.
함께 볼 개념: 데이터셋(dataset), 모델 검증(model validation), 타깃(target)
중심 Section: P2-12.3
등장 Section: P3-4.2, P3-9.7, P3-9.13, P4-7.1, P4-7.2, P4-7.3
뜻: 원천데이터를 그대로 두지 않고, 질문에 답할 수 있는 샘플, 특징, 비교, 출력 구조로 다시 설계하는 과정입니다. 단순 전처리보다 더 바깥 단계에서, 무엇을 한 건의 사례로 볼지와 어떤 결과 형식으로 문제를 닫을지를 정하는 작업에 가깝습니다. 즉 데이터 모델링은 데이터를 깨끗하게 만든다보다 무슨 문제로 바꾸어 읽을지 설계한다에 더 가까운 단계입니다.
왜 중요한가: 저장된 기록이 많다는 사실과 학습 가능한 문제 구조가 준비되었다는 사실을 구분하게 해 주며, Part 3 전체의 읽기 순서를 잡는 바깥 개념이기 때문입니다. 이 단계가 흔들리면 뒤의 데이터셋 구성, 기준선 설정, 평가 방식도 함께 흔들립니다. 또한 데이터 모델링을 이해해야 좋은 모델을 고른다보다 먼저 지금 어떤 문제를 만들고 있는가를 점검하게 되고, 비교 리포트 같은 비예측형 출력 구조도 같은 설계 축 위에서 읽게 됩니다.
함께 볼 개념: 데이터셋(dataset), 샘플 단위(sample unit), 모델 평가 설계(evaluation design), 모델링 출력 구조(output structure), 문제 정의(task definition)
중심 Section: P3-1.1
등장 Section: P3-index, P3-1.2, P3-1.3, P3-2.1, P3-2.2, P3-3.1, P3-3.2, P3-summary
뜻: 가능한 단어 조합이나 상태에 비해 실제로 관찰된 사례가 너무 적어서 확률이나 가중치를 안정적으로 추정하기 어려운 문제입니다. 조합 수는 매우 큰데 실제 데이터는 듬성듬성 비어 있어, 조금만 문맥이 길어져도 처음 보는 경우가 빠르게 늘어나는 상황이라고 볼 수 있습니다. 즉 데이터 개수만 보는 것이 아니라, 가능한 경우의 수에 비해 얼마나 촘촘하게 채워져 있는지를 함께 봐야 한다는 뜻입니다.
왜 중요한가: 엔그램 같은 초기 언어 모델이 짧은 문맥을 넘어가면 왜 빠르게 한계에 부딪히는지 보여 주고, 더 나은 일반화와 벡터 표현이 왜 필요했는지 설명하기 때문입니다. 이 개념이 있어야 데이터가 많아 보여도 조합 공간이 훨씬 더 크면 여전히 희소성 문제가 남는다는 점을 이해하게 됩니다. 결국 희소성은 데이터가 적다는 막연한 말보다, 관찰하지 못한 경우가 너무 많아 직접 세기 기반 접근이 흔들린다는 구조적 문제를 드러냅니다.
함께 볼 개념: 말뭉치(corpus), 통계적 언어 모델(statistical language model), 언어 모델(language model)
뜻: 학습 단계에서는 모델이 패턴을 배우는 사례의 모음이고, 서비스 단계에서는 모델이 참고할 근거 자료, 상태 정보, 사용자 입력 같은 정보 자원을 함께 가리킵니다. 같은 데이터라는 말이라도 학습 재료, 평가 재료, 검색 재료, 운영 기록처럼 역할이 다를 수 있습니다.
왜 중요한가: 같은 data라도 학습용 데이터셋, 검색용 문서, 상태 저장 정보가 맡는 역할이 다르다는 점을 구분해야 모델 학습과 실제 서비스 구조를 섞지 않게 되기 때문입니다. 이 구분이 있어야 모델이 안다와 시스템이 참고한다를 분리해서 설명할 수 있습니다. 또한 데이터는 단순히 많을수록 좋다는 양의 문제가 아니라, 어떤 데이터를 어떤 목적으로 쓰는지가 달라지면 품질 기준과 책임 조건도 함께 달라진다는 점을 이해하게 합니다. 결국 데이터는 하나의 물건 이름이 아니라, 어떤 역할로 쓰이는 정보인가를 함께 물어야 제대로 읽히는 개념입니다.
함께 볼 개념: 모델 입력 정의(model input), 모델 출력 정의(model output), 지도학습 라벨(supervised learning label)
뜻: 학습이나 평가를 위해 정리한 샘플과 변수의 묶음입니다. 원천데이터를 그대로 옮겨 놓은 표가 아니라, 특정 질문에 답할 수 있도록 입력 열, 타깃 열, 분할 기준까지 포함해 다시 구성한 작업용 데이터라고 볼 수 있습니다. 즉 데이터셋은 데이터가 많다는 상태보다, 무엇을 한 건으로 보고 무엇을 답으로 삼을지 정리했다는 문제 설정이 반영된 자료입니다.
왜 중요한가: 같은 표도 어떤 열을 입력으로 남기고 어떤 열을 정답으로 둘지에 따라 전혀 다른 학습 문제로 바뀌므로, 원본 표를 목적에 맞는 데이터셋으로 다시 구성하는 관점이 필요하기 때문입니다. 데이터셋을 어떻게 짜느냐가 모델보다 먼저 성능과 해석 가능성을 크게 좌우합니다. 또한 데이터셋을 이해해야 모델 성능 문제가 알고리즘 선택만이 아니라, 애초에 어떤 샘플 경계와 열 구성을 만들었는지의 문제일 수도 있다는 점을 읽게 됩니다.
함께 볼 개념: 자료구조 선택(data structure), 특징(feature), 타깃(target), 샘플 단위(sample unit), 문제 정의(task definition)
뜻: 모델이 직접 처리할 수 없는 조회, 계산, 저장, 수정, 전송 같은 일을 위해 외부 시스템 기능을 호출해 쓰는 구조입니다. 단순히 답변 안에 정보를 적는 것과 달리, 바깥 시스템에 실제 요청을 보내 상태를 읽거나 바꾸는 단계가 포함됩니다. 즉 도구 사용은 말로 설명하는 일에서 바깥 세계에 행동을 일으키는 일로 넘어가는 구조입니다.
왜 중요한가: 문서를 읽어 답을 만드는 일과 외부 세계에 실제 조회·수정·전송을 일으키는 일은 책임과 위험이 전혀 다르기 때문입니다. 이 개념이 있어야 RAG처럼 정보를 참고하는 구조와, 함수 호출이나 파일 수정처럼 상태를 바꾸는 구조를 구분하게 되고, 권한·승인·실패 복구가 왜 도구 사용 단계에서 중요해지는지도 자연스럽게 이해하게 됩니다. 결국 도구 사용을 이해해야 AI 에이전트의 능력을 똑똑한 답변이 아니라 권한을 가진 실행 구조까지 포함해 읽게 됩니다.
함께 볼 개념: 도구 실행 권한(permission), 최소 권한(least privilege), 신뢰 경계(trust boundary)
뜻: AI 결과나 자동화가 사람, 조직, 절차에 실제 피해를 만들지 않도록 제한하고 검토하는 조건입니다. 단순히 위험한 단어를 막는 수준이 아니라, 잘못된 판단, 과신, 권한 오남용, 개인정보 노출, 검토 없는 자동 실행처럼 디지털 환경에서 생기는 피해 경로 전체를 함께 봅니다. 즉 디지털 안전성은 무슨 말을 했는가만이 아니라 그 말과 행동이 시스템 안에서 어떤 결과를 일으키는가를 묻는 개념입니다.
왜 중요한가: AI의 오류가 문장 품질 문제로 끝나지 않고 실제 의사결정, 추천, 실행 피해로 이어질 수 있기 때문입니다. 특히 도구 사용과 자동화가 붙는 순간 안전성은 응답 예절이나 유해 표현 차단만의 문제가 아니라, 어떤 행동 권한을 어디까지 위임할지 정하는 실행 통제 문제이기도 합니다. 이 개념이 있어야 불쾌한 답을 줄이기와 실제 피해를 줄이기를 같은 말로 보지 않게 되고, 잘못된 실행, 과도한 권한, 검토 없는 자동화를 안전 설계의 핵심 위험으로 함께 읽게 됩니다.
함께 볼 개념: 편향(bias), AI 책임성(accountability), 인간 감독(human oversight), 도구 실행 권한(permission)
뜻: 현재까지의 문맥과 내부 표현을 바탕으로 다음 토큰이나 출력 시퀀스를 만들어 가는 구성 요소입니다. 핵심은 입력을 이해해 두는 쪽보다, 그 이해를 바탕으로 실제 출력 조각을 차례대로 펼쳐 내는 생성 담당 부분이라는 점입니다. 즉 디코더는 무엇을 읽었는가보다 이제 무엇을 이어서 말할 것인가를 책임지는 쪽 구조입니다.
왜 중요한가: 인코더-디코더의 출력 생성 구조와 GPT 계열의 다음 토큰 생성 흐름을 구분해 이해하는 핵심 기준이 되기 때문입니다. 이 개념이 있어야 같은 Transformer 계열 안에서도 입력을 해석하는 역할과 출력을 이어 가는 역할이 다를 수 있음을 읽게 됩니다. 또한 디코더를 이해해야 번역, 요약, 대화 생성처럼 출력이 한 번에 완성되는 것이 아니라, 이전까지 생성한 결과를 조건으로 삼아 한 조각씩 이어진다는 점도 자연스럽게 붙잡게 됩니다.
함께 볼 개념: 인코더(encoder), 인코더-디코더(Encoder-Decoder), GPT
뜻: 노이즈가 많은 상태에서 시작해 여러 단계를 거치며 점진적으로 의미 있는 이미지나 표현으로 복원하는 생성 모델 계열입니다. 무작위에 가까운 출발점에서 조금씩 잡음을 덜어 내며 구조를 드러내는, 정제형 생성 직관에 더 가깝습니다. 즉 한 번에 완성본을 뽑기보다, 거친 상태를 여러 번 다듬어 결과를 만들어 가는 생성 흐름이라고 볼 수 있습니다.
왜 중요한가: 이미지 생성은 텍스트처럼 단순한 다음 토큰 이어 붙이기만으로 설명하기 어렵고, 점진적 복원이라는 다른 생성 직관이 중요하다는 점을 보여 주기 때문입니다. 이 개념이 있어야 생성 모델이 모두 같은 방식으로 작동하지 않고, 데이터 형태에 따라 생성 경로가 크게 달라질 수 있다는 점을 읽을 수 있습니다. 또한 디퓨전 모델을 이해해야 생성 품질이 한 번의 선택이 아니라 여러 정제 단계의 누적 결과일 수 있다는 점도 자연스럽게 받아들이게 됩니다.
함께 볼 개념: 생성(generation), 샘플링(sampling), 확률 모델(probabilistic model)
뜻: 여러 층의 신경망을 사용해 표현과 예측 기준을 함께 학습하는 접근입니다. 사람이 특징을 일일이 손으로 설계하기보다, 여러 층을 거치며 중간 표현 자체를 데이터에서 배우게 하는 학습 패러다임이라고 볼 수 있습니다. 즉 딥러닝은 깊은 층 구조와 표현 학습이 결합된 머신러닝 흐름입니다.
왜 중요한가: 사람이 특징을 많이 설계하던 흐름에서 표현 학습 중심으로 이동한 변화를 보여 줍니다. 이 개념이 있어야 왜 신경망이 단순 분류기 하나가 아니라, 입력을 더 유용한 표현으로 바꾸는 연속 과정으로 이해되는지 분명해집니다. 또한 딥러닝을 이해해야 이것이 AI 전체와 같은 말이 아니라, 머신러닝 안에서도 신경망 중심의 특정 접근이라는 점을 구분하게 됩니다. 딥러닝의 확산에는 대규모 행렬·텐서 계산을 감당할 계산 자원도 중요했지만, 개념사전에서는 하드웨어 이름보다 여러 층 표현을 학습하는 구조적 특징을 중심에 둡니다.
함께 볼 개념: 표현 학습(representation learning), 파라미터(parameter), 특징(feature)