뜻: Transformer decoder를 바탕으로 앞 문맥에서 다음 토큰을 생성하도록 사전학습한 대표 언어 모델 계열입니다. 핵심은 지금까지 나온 토큰들을 바탕으로 다음 토큰을 이어 가며 문장 전체를 점진적으로 만들어 내는 생성 중심 구조라는 점입니다. 즉 입력 전체를 해석하는 표현 모델이라기보다, 이어질 출력을 한 토큰씩 만들어 가는 생성 모델 계열로 읽는 편이 정확합니다.
왜 중요한가: 오늘날 LLM 사용 경험의 직접 계보를 이루며, 사전학습 뒤 prompt와 in-context learning으로 여러 과업에 연결되는 흐름을 보여 주기 때문입니다. 이 개념이 있어야 챗봇, 코드 생성, 요약, 도구 호출 같은 현대 LLM 사용이 왜 다음 토큰 생성이라는 공통 기반 위에서 돌아가는지 이해할 수 있습니다. 또한 인코더 중심 모델과 달리 왜 GPT 계열이 대화형 생성과 장문 작성 맥락에서 더 자주 등장하는지도 함께 읽게 됩니다.
함께 볼 개념: 디코더(decoder), 사전학습(pretraining), 문맥 내 학습(in-context learning)
뜻: 앞에서 나온 값들을 조건으로 삼아 다음 값을 순서대로 예측하거나 생성하는 모델입니다. 텍스트에서는 앞 토큰을 보고 다음 토큰을, 오디오에서는 앞 샘플을 보고 다음 샘플을 생성하는 식으로 설명할 수 있습니다.
왜 중요한가: 음성 생성과 언어 모델링을 무리하게 같은 모델로 묶지 않으면서도, 이전 출력에 조건부로 다음 출력을 만든다는 공통 구조를 이해하게 해 주기 때문입니다. 이 개념이 있어야 순차 생성이 한 번에 전체 결과를 찍는 것이 아니라, 이전 맥락을 바탕으로 다음 단위를 반복해 만드는 방식일 수 있음을 읽게 됩니다.
함께 볼 개념: 언어 모델링(language modeling), 음성 생성(speech generation), 다음 토큰 예측(next-token prediction)
뜻: 데이터를 어떤 모양으로 조직하고, 그 위에서 어떤 연산을 자연스럽게 수행할지 정하는 판단입니다. 같은 값 묶음이라도 순서대로 꺼내는가, 이름표로 바로 찾는가, 위아래 계층으로 따라가는가, 관계선을 따라 이동하는가에 따라 더 어울리는 구조가 달라지고, 그 선택이 이후 코드의 읽기 방식과 계산 비용까지 함께 바꿉니다.
왜 중요한가: 같은 데이터라도 순서, 이름표, 계층, 관계 중 무엇이 중요한지에 따라 다른 구조 선택이 필요하다는 점을 보여 주기 때문입니다. 이 개념이 있어야 데이터를 저장한다는 말이 단순 보관이 아니라, 어떤 접근과 수정과 탐색을 자주 할지에 맞춰 모양을 정하는 문제라는 점을 이해하게 되고, 배열·딕셔너리·트리·그래프의 차이도 더 실제적으로 읽게 됩니다. 예를 들어 학생 목록을 순서대로 훑어볼 일만 많다면 리스트가 자연스럽지만, 학번으로 바로 찾는 일이 많다면 딕셔너리 쪽이 더 맞습니다. 결국 자료구조는 코딩 문법 이전에 무슨 질문을 자주 던질 데이터인가를 먼저 정리하게 만드는 판단 기준입니다.
뜻: 사실처럼 들리지만 근거 없이 지어낸 내용을 자신 있게 구성하는 생성 오류입니다. 단순 오타나 문장 파손이 아니라, 문장 모양은 그럴듯한데 실제 근거와 확인 가능성이 비어 있는 내용을 자연스럽게 이어 붙이는 현상에 가깝습니다. 특히 모른다고 멈추지 않고 빈자리를 매끈한 문장으로 메워 버린다는 점이 핵심입니다.
왜 중요한가: 한국어 본문에서 흔히 환각(hallucination)이라 부르는 현상을 더 정확하게 이해하고, 자연스러움과 사실성을 구분하게 해 주기 때문입니다. 이 개념이 있어야 문장이 매끄럽다는 평가와 내용이 사실이다는 평가를 분리하고, 왜 출처 확인과 사람 검토가 계속 필요한지도 설명할 수 있습니다. 또한 작화(confabulation)를 이해해야 검색 후보가 있더라도 답변 단계에서 근거를 넘는 일반화가 다시 생길 수 있다는 점, 그래서 검색과 답변 검증을 같은 문제로 뭉개면 안 된다는 점도 더 분명해집니다.
함께 볼 개념: 환각(hallucination), 검증 근거(supporting evidence), 사실성(factuality), 인간 감독(human oversight)
뜻: 관측된 입력이나 데이터가 흔들리거나 일부가 틀려 있어 그대로 믿기 어려운 상태입니다. 데이터 안에 실제로 중요한 패턴과 함께 섞여 있지만, 지금 풀고 싶은 질문과는 직접 관련이 없거나 오히려 해석을 흐리게 만드는 변동이라고 볼 수 있습니다. 즉 잡음은 값이 있다는 사실만으로 중요한 정보가 되는 것은 아니라는 점을 드러냅니다.
왜 중요한가: 규칙이나 모델이 모두 입력 품질의 한계를 그대로 받기 때문에, 관측값과 실제 상태를 구분해 읽는 기준이 되기 때문입니다. 이 개념이 있어야 모델이 틀렸다는 사실만 보고 곧바로 규칙이나 구조 문제로 단정하지 않고, 입력 자체가 흔들렸는지부터 따로 점검하게 됩니다. 예를 들어 센서의 작은 흔들림이나 우연한 오탈자는 표면적으로는 데이터지만, 그대로 따라가면 모델이 중요한 규칙 대신 흔들림 자체를 배우게 될 수 있습니다. 결국 잡음을 이해해야 데이터가 많다와 의미 있는 신호가 많다를 같은 말로 보지 않게 됩니다.
함께 볼 개념: 불확실성(uncertainty), 부분 관측(partial observability), 오차(error)
뜻: 현재 판단에 오래전 정보가 중요하지만, 순차 모델이 그 정보를 충분히 오래 유지하거나 전달하지 못해 해석이 흔들리는 문제입니다. 장거리 의존성(long-range dependency)이라는 표현도 비슷한 문제를 가리킬 때 쓰입니다. 즉 앞부분 단서가 뒤쪽 판단에 계속 중요해도, 중간 단계를 거치며 그 신호가 희미해지거나 끊어지는 현상이라고 볼 수 있습니다.
왜 중요한가: 기본 RNN의 한계를 이해하고, 게이트 구조 보강과 attention으로의 전환이 왜 필요했는지 설명하는 핵심 연결 고리이기 때문입니다. 이 개념이 있어야 문장이 길어지면 왜 앞정보를 놓치기 쉬운가를 단순 성능 저하가 아니라 정보 전달 경로 문제로 읽게 되고, 시퀀스 모델 설계가 메모리를 어떻게 유지할지와 직접 연결된다는 점도 이해하게 됩니다. 또한 장기 의존성을 이해해야 긴 문맥을 다룬다는 말이 단순 입력 길이 확장이 아니라, 오래전 정보를 실제로 유지하고 참조할 수 있는가의 문제라는 점도 더 분명히 보게 됩니다.
함께 볼 개념: 순환 신경망(RNN, recurrent neural network), 숨은 상태(hidden state), 어텐션(Attention)
중심 Section: P1-11.2
등장 Section: P1-9.3, P5-12.1, P5-12.2, P5-13.1, P5-13.2, P5-14.1, P5-14.2
뜻: 입력이 지수 자리에 들어가 같은 비율의 변화가 반복되는 함수를 말합니다. AI 문서에서는 보통 exp(x)나 \(e^x\)처럼 쓰이며, 점수 차이를 더 큰 비중 차이로 벌리거나 softmax 계산의 중간 단계로 등장합니다. 즉 지수 함수는 값이 선형으로 조금씩 더해지는 상황이 아니라, 비율적으로 커지거나 작아지는 변화를 읽는 계산 언어입니다.
왜 중요한가: 지수라는 말은 운영 전략의 대기 시간 증가처럼 다른 맥락에도 쓰이고, 수학 함수에도 쓰입니다. 지수 함수를 따로 구분하면 exp가 단순 장식이 아니라 점수, 비율, 확률 같은 값을 연결하는 계산임을 볼 수 있습니다. 이 개념이 있어야 sigmoid, softmax, 로그 손실을 읽을 때 왜 지수와 로그가 함께 등장하는지도 이해하게 됩니다.
함께 볼 개념: 수학 로그(logarithm), 소프트맥스(softmax), 시그모이드(sigmoid)
뜻: 같은 코드와 같은 조건을 다시 준비했을 때 비슷한 실행 결과를 다시 얻을 수 있는 성질입니다. 한 번 우연히 성공한 실행이 아니라, 어떤 입력과 환경과 절차로 결과가 나왔는지 다시 설명하고 다시 재현할 수 있는 상태를 뜻합니다. 따라서 재현성은 코드 파일 하나의 문제가 아니라, 데이터 버전, 의존성, 실행 순서, 설정값, 평가 절차까지 함께 묶인 조건의 문제입니다. Part 7에서는 특히 어떤 입력 파일을 읽었고, 어떤 평가 기록을 남겼고, 다음 조치를 어디에 적었는지까지 이어져야 재현성이 실제 프로젝트 문서 수준에서 성립합니다.
왜 중요한가: 학습 예제를 나중에 다시 돌리거나 다른 사람에게 전달할 때 코드만이 아니라 환경, 데이터, 실행 순서도 함께 관리해야 한다는 점을 드러내기 때문입니다. 재현성이 있어야 오류 수정, 비교 실험, 협업 검토도 의미를 가집니다. 이 개념이 있어야 이번에는 됐다와 다음에도 다시 된다를 구분하게 되고, 로그와 요청 실행 기록이 왜 단순 부가물이 아니라 핵심 운영 자산인지도 함께 이해하게 됩니다. 또한 재현성을 이해해야 비슷한 답이 나왔다와 같은 조건에서 검증 가능한 절차가 남아 있다를 분리하게 되고, 보기 좋은 데모와 비교 가능한 실험의 차이도 더 분명히 읽게 됩니다. 특히 Part 7의 회고 문서에서는 재현성이 있어야 무슨 일이 있었는가, 다음에 무엇을 할 것인가가 같은 실행 기반 위에서 다시 연결됩니다.
함께 볼 개념: 표준화(standardization), 모델 검증(model validation)
중심 Section: P2-7.5
등장 Section: P1-12.3, P1-14.5, P1-14.6, P2-7.4, P2-7.9, P3-9.7, P7-3.2, P7-7.2
뜻: 찾아야 할 관련 후보 중에서 실제로 얼마나 많이 찾아냈는지를 보는 기준입니다. 벡터 검색 문맥에서는 필요한 문서 조각을 검색 결과가 놓치지 않았는지를 읽는 품질 기준으로 볼 수 있습니다.
왜 중요한가: 검색을 너무 좁게 하면 빠르고 간결할 수 있지만 중요한 근거를 놓칠 수 있기 때문입니다. 재현율을 이해해야 top-k를 키우거나 검색 폭을 넓히는 선택이 왜 필요한 후보를 놓치지 않기 위한 전략인지 알 수 있습니다. 다만 재현율만 높이면 관련 없는 후보도 많이 들어올 수 있으므로 정밀도와 함께 봐야 합니다.
함께 볼 개념: 정밀도(precision), 유사도 검색(similarity search), 평가 지표(metric), 벡터 검색(vector search)
중심 Section: P1-13.4
등장 Section: P4-4.1, P4-4.2, P4-6.1, P4-6.4, P4-8.1, P4-8.2, P4-8.3
뜻: 창작적 표현에 대해 법이 보호하는 권리입니다. 아이디어 자체보다, 글·그림·도표·코드처럼 구체적으로 표현된 결과물을 누가 어떤 조건으로 복제·배포·수정할 수 있는지를 다루는 권리라고 볼 수 있습니다. 즉 같은 주제를 설명하는 것은 가능해도, 남이 만든 표현 그 자체를 어떻게 다루는지는 별도 권리 문제라는 뜻입니다.
왜 중요한가: 책, 기사, 이미지, 코드, 도표 같은 타인의 표현을 AI 입력이나 배포 원고에서 어떻게 다룰지 판단하는 기준이 되기 때문입니다. 이 개념이 있어야 공개되어 있다와 자유롭게 재사용할 수 있다를 같은 말로 보지 않게 되고, 인용 가능한 사용, 허락이 필요한 사용, 아예 피해야 할 사용을 더 보수적으로 구분하게 됩니다. 또한 저작권을 이해해야 정보를 안다와 표현을 그대로 옮겨도 된다를 같은 말로 보지 않게 됩니다.
함께 볼 개념: 인용(quotation), 라이선스(license), 학습 데이터(training data)
뜻: 특정 도메인의 전문가 판단을 규칙과 지식 기반으로 표현해 결론이나 조언을 제공하려 한 규칙 기반 시스템 계열입니다. 즉 숙련된 사람의 판단 절차를 좁은 분야 안에서 기계적으로 재현해 보려는 시도라고 이해할 수 있습니다. 다시 말해 전문가 시스템은 기호 기반 AI가 실제 업무 조언 형태로 구현된 대표 응용 장면입니다.
왜 중요한가: 규칙 기반 시스템의 가능성과 한계를 역사적으로 가장 선명하게 보여 주는 대표 사례이기 때문입니다. 이 개념이 있어야 AI 역사에서 잘 정의된 좁은 문제에서는 강했지만 전문가 지식을 입력하고 유지하기 어려웠다는 교훈이 왜 중요한지 읽을 수 있습니다. 또한 전문가 시스템을 이해해야 설명 가능성과 통제 가능성이 강점이더라도, 도메인이 넓어지거나 예외가 많아질수록 왜 유지 비용이 급격히 커질 수 있는지도 더 분명히 보게 됩니다. 결국 전문가 시스템은 규칙으로 풀 수 있는 문제의 힘과 규칙만으로 버티기 어려운 한계를 함께 보여 준 역사적 기준점입니다.
함께 볼 개념: 규칙 기반 시스템(rule-based system), 지식 기반(knowledge base), 지식 표현(knowledge representation), 추론 엔진(inference engine)
뜻: 검색해서 가져온 후보 중 실제로 관련 있는 후보가 얼마나 많은지를 보는 기준입니다. 벡터 검색 문맥에서는 검색 결과에 불필요한 문서 조각이 얼마나 적게 섞였는지를 읽는 품질 기준으로 볼 수 있습니다.
왜 중요한가: 관련 없는 후보가 많이 들어오면 RAG 입력 맥락이 흐려지고, LLM이 엉뚱한 자료를 참고할 위험이 커지기 때문입니다. 정밀도를 이해해야 검색 결과를 많이 가져오는 것이 항상 좋은 것은 아니며, 필요한 후보를 놓치지 않는 재현율과 불필요한 후보를 줄이는 정밀도 사이의 균형이 중요하다는 점을 알 수 있습니다.
함께 볼 개념: 재현율(recall), 검색 증강 생성(retrieval-augmented generation, RAG), 평가 지표(metric), 벡터 검색(vector search)
중심 Section: P1-13.4
등장 Section: P4-4.1, P4-4.2, P4-6.1, P4-6.4, P4-8.1
뜻: 모델에 넣기 전에 결측치 처리, 스케일 조정, 범주형 인코딩처럼 입력 표현을 더 안정적으로 바꾸는 준비 과정입니다. 원시 입력을 그대로 던지지 않고, 현재 모델이 계산할 수 있는 형태로 정리하고 맞추는 단계라고 볼 수 있습니다. 즉 전처리는 데이터를 더 예쁘게 만드는 일이 아니라 계산 가능한 입력으로 바꾸는 일에 가깝습니다.
왜 중요한가: 같은 모델이라도 입력을 어떤 형태로 정리했는지에 따라 거리 계산, 학습 안정성, 평가 결과가 크게 달라질 수 있기 때문입니다. 이 개념이 있어야 성능 차이를 모델 구조만으로 설명하지 않고, 입력 표현을 어떤 규칙으로 맞췄는지도 함께 보게 됩니다. 예를 들어 최근접 이웃 비교에서는 스케일이 큰 변수 하나가 거리 계산을 거의 지배할 수 있고, 선형 모델에서는 범주형 값을 그대로 넣으면 계산 자체가 어긋날 수 있습니다. 결국 전처리를 이해해야 데이터를 썼다와 모델이 실제로 읽을 수 있는 입력으로 준비했다를 같은 말로 보지 않게 됩니다.
함께 볼 개념: 특징(feature), 특징 선택(feature selection), 데이터 누수(data leakage)
뜻: 모델이 학습 데이터에만 과하게 맞추지 않도록, 학습 과정에 제약이나 추가 비용을 넣어 더 단순하고 일반화되는 해를 선호하게 만드는 생각입니다. 즉 훈련 데이터를 더 잘 맞춘다는 목표만 두지 않고, 너무 복잡하거나 불안정한 해는 덜 좋아하도록 학습 기준을 조정하는 방식이라고 볼 수 있습니다. 학습 중 일부 노드나 연결을 무작위로 쉬게 하는 드롭아웃은 이런 정규화 전략의 대표 예입니다. 다시 말해 정규화는 성능을 올리는 기술이면서 동시에 복잡도를 통제하는 장치입니다.
왜 중요한가: 훈련 성능이 높아도 새 데이터에서 무너질 수 있다는 문제를 줄이려면, 손실을 낮추는 것뿐 아니라 어떤 방식의 해를 덜 선호할지 함께 정해야 하기 때문입니다. 이 개념이 있어야 학습이 더 잘 맞추기만의 문제가 아니라 너무 복잡한 해를 피하기의 문제이기도 하다는 점을 이해하게 됩니다. 예를 들어 가중치를 지나치게 크게 키우거나 데이터의 작은 흔들림까지 따라가는 해를 덜 선호하게 만들면, 훈련 점수는 조금 덜 좋아 보여도 일반화는 오히려 나아질 수 있습니다. 결국 정규화를 이해해야 훈련 점수 최고가 항상 좋은 모델을 뜻하지는 않는다는 점도 더 분명하게 읽게 됩니다.
함께 볼 개념: 과적합(overfitting), 일반화(generalization), 모델 검증(model validation)
뜻: 큰 자료 집합에서 현재 질문이나 정보 요구에 맞는 문서, 문단, 근거 후보를 찾아오는 검색 문제입니다. 단순 문자열 찾기를 넘어서, 현재 입력을 기준으로 어떤 자료가 관련 있는가를 순위화하는 문제로 보는 편이 더 가깝습니다. 그래서 정보 검색은 답을 직접 만들어 내는 단계라기보다, 답을 만들 재료를 얼마나 잘 가져오느냐를 다루는 후보 선택 문제입니다.
왜 중요한가: 검색 증강 생성에서는 먼저 관련 근거를 찾는 단계가 있어야, 생성 모델이 아무 맥락 없이 답을 이어 쓰지 않고 찾은 자료를 바탕으로 답변을 구성할 수 있기 때문입니다. 이 개념이 있어야 웹 검색, 문서 검색, 벡터 검색이 모두 결국 관련 후보를 먼저 가져오는 단계라는 공통 문제를 공유한다는 점을 이해하게 됩니다. 또한 정보 검색은 생성과 경쟁하는 대체물이 아니라, 생성 이전 단계에서 근거와 최신성을 보강하는 별도 계층이라는 점도 중요합니다. 결국 검색 품질이 약하면 생성 품질도 함께 흔들릴 수 있다는 연결이 여기서 드러납니다.
함께 볼 개념: 검색 증강 생성(retrieval-augmented generation, RAG), 유사도 검색(similarity search), 검색(search), 순위화(ranking)
뜻: 상태와 행동의 값을 먼저 점수표로 만드는 대신, 어떤 행동을 선택할 정책 자체를 직접 조정하며 더 큰 보상을 얻도록 학습하는 강화학습 접근입니다. 즉 상황별 점수를 계산한 뒤 고른다보다 행동 규칙 자체를 바로 바꾼다는 쪽에 더 가깝습니다. 현재 상태에서 어떤 행동을 어느 확률로 고를지 직접 출력하는 정책을 조금씩 업데이트한다고 생각하면 됩니다. 정책 파라미터를 평균적으로 더 큰 보상을 얻는 방향으로 조정하는 방식은 이 접근의 대표 하위 방법으로 설명할 수 있습니다.
왜 중요한가: 값(value)을 거쳐 행동을 고르는 관점과 달리, 행동 방식을 직접 최적화하는 강화학습 계보를 따로 읽게 해 주기 때문입니다. 이 개념이 있어야 value-based 방법과 policy-based 방법이 같은 강화학습 안에서도 무엇을 직접 학습 대상으로 삼는지가 다르다는 점을 분명히 이해할 수 있습니다. 또한 정책 자체를 바로 조정하는 접근이 연속 행동 공간이나 확률적 행동 선택과 어떻게 연결되는지도 더 자연스럽게 읽게 됩니다. 즉 어떤 행동이 좋은가를 점수로 매길 것인가와 행동 규칙을 바로 다듬을 것인가라는 두 관점을 비교하는 기준점이 됩니다.
함께 볼 개념: 강화학습(reinforcement learning), 강화학습 정책(reinforcement learning policy), 보상(reward)
뜻: 전체 예측 가운데 맞춘 비율을 나타내는 기본 성능 지표입니다. 즉 맞은 개수 / 전체 개수로 읽는 가장 직관적인 숫자이며, 모델이 정답을 얼마나 자주 맞히는지를 빠르게 요약해 줍니다. 분류 문제에서 가장 먼저 떠올리기 쉬운 지표지만, 그만큼 무엇을 숨길 수도 있는지 같이 읽어야 합니다.
왜 중요한가: 손실과 함께 보면 모델이 숫자상으로 어떤 방향으로 좋아지는지 비교할 수 있지만, 지표 하나만으로 전체 품질을 단정하지 않는 기준도 함께 필요하기 때문입니다. 이 개념이 있어야 정확도가 높아 보여도 어떤 종류의 실수를 놓치고 있는지 따로 봐야 한다는 점을 이해하게 되고, 클래스 불균형이나 중요한 오답 비용이 있는 문제에서는 다른 지표도 함께 봐야 한다는 판단으로 자연스럽게 이어집니다. 예를 들어 대부분이 음성 클래스인 데이터에서는 모두 음성으로 찍어도 높은 정확도가 나올 수 있으므로, 정확도는 출발점이지 최종 판정이 아니라는 감각이 중요합니다.
함께 볼 개념: 손실 곡선(loss curve), 모델 검증(model validation), 테스트 데이터(test data)
중심 Section: P2-13.3
등장 Section: P2-13.3, P4-4.1, P4-4.2, P4-5.1, P4-6.1, P4-6.4
뜻: 대부분의 칸이 0이 아니라 실제 수치 값을 가지는 벡터 표현입니다. 원-핫 표현처럼 한 칸만 켜는 방식과 달리, 여러 차원에 걸쳐 값이 분산되어 항목의 특징이나 의미적 위치를 나타냅니다. 즉 조밀한 벡터는 짧고 값이 많이 채워진 좌표 표현에 가깝습니다.
왜 중요한가: 임베딩을 단순 ID 번호가 아니라 의미 비교가 가능한 수치 표현으로 이해하게 해 주는 핵심 대비점이기 때문입니다. 이 개념이 있어야 원-핫 표현의 희소한 식별 방식과, 단어·문장·문서를 가까움으로 비교할 수 있는 임베딩 방식을 구분할 수 있습니다. 또한 벡터라는 일반 표현이 데이터 구조인지, 학습된 의미 좌표인지 문맥별로 갈라져야 한다는 점도 더 분명해집니다.
함께 볼 개념: 원-핫 표현(one-hot representation), 임베딩(embedding), 분산 표현(distributed representation), 벡터(vector)
뜻: 데이터의 분산이 큰 방향을 찾아, 여러 차원의 데이터를 더 적은 축으로 표현하는 대표적인 차원 축소 방법입니다. 모든 정보를 그대로 보존하는 것이 아니라, 데이터가 크게 퍼지는 주요 방향을 중심으로 구조를 요약합니다.
왜 중요한가: 차원 축소가 단순히 열을 몇 개 버리는 일이 아니라, 데이터를 새 축으로 다시 표현하는 일이라는 점을 보여 주기 때문입니다. PCA를 이해하면 낮은 차원 그림이 원본을 완전히 대체하지는 않지만, 큰 변동 구조를 빠르게 살피는 도구가 될 수 있음을 알 수 있습니다.
함께 볼 개념: 차원 축소(dimensionality reduction), 분산(variance), 벡터 공간(vector space)
뜻: 원시 로그를 그대로 두거나 숫자 특징만 남기는 대신, 구조와 순서를 더 잘 보이게 하려고 그 사이에 두는 사람 주도 입력 재표현입니다. 즉 원본 데이터와 최종 특징 사이에 문제를 더 잘 드러내도록 한 번 더 바꾼 표현 층을 둔 것이라고 볼 수 있습니다.
왜 중요한가: 같은 시계열이라도 평균과 기울기만으로는 놓치기 쉬운 모양 차이를 세그먼트 표현, 토큰 시퀀스, 구간 패턴처럼 더 직접 남길 수 있어, 비교와 후속 입력 설계를 함께 도와주기 때문입니다. 이 개념이 있어야 원시 데이터와 최종 특징 사이에 사람이 해석하기 쉬운 중간 단계를 둘 수 있다는 발상이 생기고, 어떤 표현이 현재 문제를 더 잘 드러내는지 비교하는 기준도 잡게 됩니다. 또한 중간 표현을 이해해야 특징 설계가 곧바로 숫자 추출만을 뜻하지 않고, 문제에 맞는 표현 단계를 새로 만드는 일일 수도 있다는 점을 읽게 됩니다.
함께 볼 개념: 특징(feature), 표현(representation), 표현 학습(representation learning)
중심 Section: P3-6.2
등장 Section: P3-index, P3-5.1, P3-5.3, P3-6.1, P3-6.3, P3-summary
뜻: 입력 예시와 사람이 붙인 정답 라벨을 함께 사용해, 입력과 출력의 관계를 학습하는 방식입니다. 즉 모델이 무엇을 정답으로 볼 것인가를 사람이 미리 정해 둔 상태에서, 그 대응 관계를 데이터로부터 익히는 문제 설정이라고 볼 수 있습니다. 다시 말해 지도학습은 데이터만 있는 것이 아니라 정답 기준까지 함께 준비된 학습 방식입니다.
왜 중요한가: 예시, 특징, 라벨, 학습, 일반화를 가장 기본적인 구조로 묶어 보여 주는 대표 입문 형태이기 때문입니다. 이 개념이 있어야 모델 학습을 입력을 보고 정답을 맞히는 규칙을 찾는 일로 가장 먼저 붙잡게 되고, 이후 분류·회귀·평가 지표 같은 여러 주제를 하나의 공통 틀로 읽을 수 있습니다. 예를 들어 메일 분류에서는 본문만 모아 두는 것으로는 부족하고, 스팸/정상 같은 라벨이 함께 있어야 모델이 무엇을 맞혀야 하는지 배울 수 있습니다. 결국 지도학습을 이해해야 모델 성능을 읽을 때도 구조만이 아니라 라벨 정의와 라벨 품질을 함께 점검하게 됩니다.
함께 볼 개념: 지도학습 라벨(supervised learning label), 모델 훈련(model training), 일반화(generalization)
뜻: 데이터 사례에 사람이 붙인 정답이나 목표 출력입니다. 모델이 스스로 발견한 구조가 아니라, 현재 문제에서 무엇을 맞았다고 볼지 사람이 정의해 놓은 기준이라고 볼 수 있습니다. 즉 라벨은 데이터 안에 자연히 숨어 있는 값이라기보다, 이번 학습에서 무엇을 답으로 삼을 것인가를 정해 둔 해석 규칙에 가깝습니다. 분류에서는 보통 범주 이름이 라벨이 되고, 회귀에서는 맞혀야 할 수치 값이 라벨 역할을 합니다.
왜 중요한가: 지도학습에서는 모델이 무엇을 맞혀야 하는지를 라벨이 정해 줍니다. 같은 입력 데이터라도 라벨 정의가 달라지면 전혀 다른 문제와 평가 방식으로 바뀔 수 있습니다. 이 개념이 있어야 데이터에 원래 들어 있던 사실 기록과, 학습을 위해 사람이 부여한 정답 기준을 구분해 읽게 되고, 모델 성능 문제가 사실은 라벨 정의 문제일 수도 있다는 점도 함께 이해하게 됩니다. 특히 애매한 기준으로 붙인 라벨, 사람마다 다르게 붙는 라벨, 현실을 지나치게 단순화한 라벨은 학습 한계를 미리 만들어 버릴 수 있으므로, 데이터 품질을 볼 때 라벨 설계 자체를 함께 점검해야 합니다.
함께 볼 개념: 사례(example), 데이터(data), 모델 출력 정의(model output), 지도학습(supervised learning), 타깃(target), 문제 정의(task definition)
뜻: 사전학습된 모델이 사람의 자연어 지시를 더 잘 이해하고, 요청 형식에 맞는 답변 습관을 보이도록 추가로 조정하는 단계입니다. 즉 언어 자체를 배우는 것과는 별개로, 사용자 요청에 어떻게 반응할 것인가를 더 잘 맞추는 적응 단계라고 볼 수 있습니다. 말하자면 지시 튜닝은 무엇을 아는가보다 그 지식을 요청 형식에 맞게 어떻게 꺼내는가를 다듬는 과정입니다.
왜 중요한가: 대화형 LLM이 단순 이어쓰기 모델보다 왜 더 assistant-like하게 느껴지는지 설명하며, 언어 지식과 응답 형식 조정이 다른 층위라는 점을 구분하게 해 주기 때문입니다. 이 개념이 있어야 사전학습이 크다고 해서 자동으로 지시를 잘 따르는 것은 아니라는 점을 이해하게 되고, 모델이 무엇을 알고 있는가와 그 지식을 사용자 요청 형식에 맞춰 어떻게 꺼내는가를 따로 읽게 됩니다. 결국 지시 튜닝을 이해해야 LLM의 도움말 같은 말투와 응답 습관이 어디서 오는지도 읽게 됩니다.
함께 볼 개념: 미세조정(fine-tuning), 사전학습(pretraining), 프롬프트(prompt)
뜻: 규칙, 사실, 관계, 도메인 정보를 모아 두고 시스템이 참조하는 지식 저장 구조입니다. 프로그램 코드 안에 모든 판단을 직접 박아 넣는 대신, 시스템이 꺼내 볼 수 있는 지식 창고를 따로 두는 방식이라고 볼 수 있습니다. 즉 지식 기반은 판단 규칙을 실행하는 곳이 아니라, 그 판단에 필요한 재료를 구조화해 쌓아 둔 층입니다.
왜 중요한가: 규칙 기반 시스템이 단순 조건문 나열이 아니라, 도메인 지식을 분리해 저장하고 추론 엔진이 참조하는 구조라는 점을 이해하게 해 주기 때문입니다. 이 개념이 있어야 지식을 저장하는 곳과 그 지식을 적용하는 절차를 나누어 읽게 됩니다. 또한 지식 기반을 이해해야 규칙 추가, 사실 수정, 도메인 확장이 왜 코드 전체를 뜯어고치지 않고도 가능하도록 설계되었는지 더 자연스럽게 읽게 됩니다. 결국 지식 기반은 판단 로직과 판단 재료를 분리해 유지보수 가능성을 높이는 구조입니다.
함께 볼 개념: 규칙 기반 시스템(rule-based system), 지식 표현(knowledge representation), 추론 엔진(inference engine)
뜻: 사실, 관계, 규칙, 제약을 컴퓨터가 다룰 수 있는 형식으로 정리하는 일입니다. 사람이 머릿속에서 아는 내용을 그대로 둘 수 없으므로, 컴퓨터가 조회하고 비교하고 추론할 수 있는 구조로 바꾸는 번역 작업에 가깝습니다. 즉 지식 표현은 무엇을 아는가뿐 아니라 그 지식을 어떤 형식으로 적어 두어야 계산할 수 있는가를 함께 다루는 문제입니다.
왜 중요한가: 기호 기반 AI와 규칙 기반 접근이 무엇을 저장하고 조작하려 했는지 이해하게 해 줍니다. 이 개념이 있어야 지식을 안다는 말이 막연한 기억이 아니라, 어떤 형식으로 저장되어 어떤 규칙과 함께 작동하는가의 문제라는 점이 분명해집니다. 또한 지식 표현을 이해해야 같은 사실도 표, 규칙, 그래프, 논리식처럼 어떤 형식으로 담느냐에 따라 가능한 질문과 추론 방식이 달라진다는 점도 보게 됩니다. 결국 지식 표현은 지식 내용과 지식을 계산 가능한 형식으로 적는 방식을 함께 묻게 만드는 개념입니다.
함께 볼 개념: 기호 기반 AI(symbolic AI), 규칙 기반 시스템(rule-based system)