P7-5.3 질문-근거 경계 연습¶

# RAG 연습 질문을 재작성하기 전후로 근거 기반 답변 가능 상태와 상위 후보가 어떻게 바뀌는지 비교하는 예제입니다.
import csv
from pathlib import Path

document_path = Path("docs/assets/part-07/chapter-05/p7-5-rag-documents.csv")
case_path = Path("docs/assets/part-07/chapter-05/p7-5-boundary-cases.csv")

document_rows = list(csv.DictReader(document_path.open(encoding="utf-8")))
case_rows = list(csv.DictReader(case_path.open(encoding="utf-8")))
대표_문서_ids = {f"문서-{index}" for index in range(1, 7)}
대표_case_ids = {f"연습-{index:02d}" for index in range(1, 7)}
document_rows = [row for row in document_rows if row["doc_id"] in 대표_문서_ids]
case_rows = [row for row in case_rows if row["case_id"] in 대표_case_ids]
documents = {row["doc_id"]: row["text"] for row in document_rows}

rewrite_map = {
    "MCP는 왜 필요한가?": "최신 규칙이 필요한 서비스에서 검색 단계가 먼저 필요한 이유를 문서 범위 안에서 설명할 수 있는가?",
    "문서 분할 재정렬만 있으면 모든 환각이 해결되는가?": "문서 분할과 재정렬은 검색 품질에 어떤 도움을 줄 수 있는가?",
}

def clean_token(token):
    token = token.replace("?", "").replace(".", "")
    for keyword in ["RAG", "MCP"]:
        if token.startswith(keyword):
            return keyword
    return token

def tokenize(text):
    return {clean_token(token) for token in text.split()}

def evaluate_question(question):
    question_tokens = tokenize(question)
    ranked = []
    for doc_id, text in documents.items():
        overlap = len(question_tokens & tokenize(text))
        domain_bonus = sum(
            phrase in question and phrase in text
            for phrase in ["문서 분할", "재정렬", "검색 후보", "선택 근거", "최신 규칙"]
        )
        direct_bonus = 1 if overlap > 0 and ("기록" in text or "구분" in text or "질문에 더 직접 답하는" in text) else 0
        ranked.append({
            "doc_id": doc_id,
            "score": overlap + domain_bonus + direct_bonus,
            "overlap": overlap,
            "text": text,
        })
    ranked.sort(key=lambda row: (row["score"], row["overlap"]), reverse=True)
    top = ranked[0]

    if top["score"] == 0:
        state = "근거 부족"
        reason = "문서 범위 밖 질문"
    elif "모든" in question or "항상" in question:
        state = "답변 과장 위험"
        reason = "검색은 됐지만 단정 표현이 문서 근거를 넘어간다"
    else:
        state = "근거 기반 답변"
        reason = "현재 문서 범위 안에서 보수적으로 답할 수 있다"

    return {
        "question": question,
        "state": state,
        "reason": reason,
        "top_doc": top["doc_id"],
        "top_score": top["score"],
        "candidates": ranked[:3],
    }

exercise_records = []
for row in case_rows:
    before = evaluate_question(row["question"])
    rewritten_question = rewrite_map.get(row["question"])
    after = evaluate_question(rewritten_question) if rewritten_question else None
    expected_state = "근거 부족" if row["expected_state"] == "문서 범위 밖" else row["expected_state"]

    exercise_records.append({
        "case_id": row["case_id"],
        "focus": row["focus"],
        "expected_state": expected_state,
        "before": before,
        "rewritten_question": rewritten_question,
        "after": after,
    })

summary = {
    "연습 수": len(exercise_records),
    "기대 상태와 일치한 수": sum(
        record["before"]["state"] == record["expected_state"]
        for record in exercise_records
    ),
    "재작성으로 상태가 바뀐 수": sum(
        record["after"] is not None and record["after"]["state"] != record["before"]["state"]
        for record in exercise_records
    ),
    "다시 쓸 가치가 큰 질문": [
        record["case_id"]
        for record in exercise_records
        if record["before"]["state"] != "근거 기반 답변"
    ],
}

print("연습 요약 =", summary)
print("읽은 문서 파일 =", str(document_path))
print("읽은 연습 질문 파일 =", str(case_path))
핵심_case_ids = {"연습-02", "연습-03"}
print("핵심 연습 기록 =")
for row in exercise_records:
    if row["case_id"] in 핵심_case_ids:
        print(row)

연습 요약 = {'연습 수': 6, '기대 상태와 일치한 수': 6, '재작성으로 상태가 바뀐 수': 2, '다시 쓸 가치가 큰 질문': ['연습-02', '연습-03', '연습-06']}
읽은 문서 파일 = docs/assets/part-07/chapter-05/p7-5-rag-documents.csv
읽은 연습 질문 파일 = docs/assets/part-07/chapter-05/p7-5-boundary-cases.csv
핵심 연습 기록 =
{'case_id': '연습-02', 'focus': '현재 문서 집합에 없는 주제를 멈추는 경우', 'expected_state': '근거 부족', 'before': {'question': 'MCP는 왜 필요한가?', 'state': '근거 부족', 'reason': '문서 범위 밖 질문', 'top_doc': '문서-1', 'top_score': 0, 'candidates': [{'doc_id': '문서-1', 'score': 0, 'overlap': 0, 'text': 'RAG는 외부 문서를 검색해 모델 입력에 넣고 그 근거 위에서 답변을 구성하는 구조다.'}, {'doc_id': '문서-2', 'score': 0, 'overlap': 0, 'text': '프롬프트만으로는 최신 문서 근거를 보장할 수 없으므로 최신 규칙이 필요한 서비스에서는 검색 단계가 먼저 필요하다.'}, {'doc_id': '문서-3', 'score': 0, 'overlap': 0, 'text': '검색 후보 점수가 높아도 질문에 직접 답하지 않는 문장이 섞일 수 있으므로 선택 근거를 따로 남겨야 한다.'}]}, 'rewritten_question': '최신 규칙이 필요한 서비스에서 검색 단계가 먼저 필요한 이유를 문서 범위 안에서 설명할 수 있는가?', 'after': {'question': '최신 규칙이 필요한 서비스에서 검색 단계가 먼저 필요한 이유를 문서 범위 안에서 설명할 수 있는가?', 'state': '근거 기반 답변', 'reason': '현재 문서 범위 안에서 보수적으로 답할 수 있다', 'top_doc': '문서-2', 'top_score': 9, 'candidates': [{'doc_id': '문서-2', 'score': 9, 'overlap': 8, 'text': '프롬프트만으로는 최신 문서 근거를 보장할 수 없으므로 최신 규칙이 필요한 서비스에서는 검색 단계가 먼저 필요하다.'}, {'doc_id': '문서-5', 'score': 3, 'overlap': 3, 'text': '문서 분할 chunking 은 검색 범위를 세밀하게 만들지만 너무 잘게 나누면 문맥이 끊길 수 있다.'}, {'doc_id': '문서-4', 'score': 3, 'overlap': 2, 'text': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다.'}]}}
{'case_id': '연습-03', 'focus': '검색은 됐지만 단정이 근거 밖인 경우', 'expected_state': '답변 과장 위험', 'before': {'question': '문서 분할 재정렬만 있으면 모든 환각이 해결되는가?', 'state': '답변 과장 위험', 'reason': '검색은 됐지만 단정 표현이 문서 근거를 넘어간다', 'top_doc': '문서-5', 'top_score': 3, 'candidates': [{'doc_id': '문서-5', 'score': 3, 'overlap': 2, 'text': '문서 분할 chunking 은 검색 범위를 세밀하게 만들지만 너무 잘게 나누면 문맥이 끊길 수 있다.'}, {'doc_id': '문서-2', 'score': 1, 'overlap': 1, 'text': '프롬프트만으로는 최신 문서 근거를 보장할 수 없으므로 최신 규칙이 필요한 서비스에서는 검색 단계가 먼저 필요하다.'}, {'doc_id': '문서-6', 'score': 1, 'overlap': 0, 'text': '재정렬 reranking 은 상위 후보의 순서를 다시 바꾸어 질문에 더 직접 답하는 근거를 앞으로 당기는 단계다.'}]}, 'rewritten_question': '문서 분할과 재정렬은 검색 품질에 어떤 도움을 줄 수 있는가?', 'after': {'question': '문서 분할과 재정렬은 검색 품질에 어떤 도움을 줄 수 있는가?', 'state': '근거 기반 답변', 'reason': '현재 문서 범위 안에서 보수적으로 답할 수 있다', 'top_doc': '문서-5', 'top_score': 4, 'candidates': [{'doc_id': '문서-5', 'score': 4, 'overlap': 3, 'text': '문서 분할 chunking 은 검색 범위를 세밀하게 만들지만 너무 잘게 나누면 문맥이 끊길 수 있다.'}, {'doc_id': '문서-2', 'score': 3, 'overlap': 3, 'text': '프롬프트만으로는 최신 문서 근거를 보장할 수 없으므로 최신 규칙이 필요한 서비스에서는 검색 단계가 먼저 필요하다.'}, {'doc_id': '문서-4', 'score': 3, 'overlap': 2, 'text': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다.'}]}}