P7-5.1 검색, 근거, 답변 흐름 실습¶

# RAG 문서 후보를 점수화해 상위 검색 후보, 선택 근거, 탈락 이유를 기록하고 top-1 답변과 근거 제한 답변을 비교하는 예제입니다.
import csv
from pathlib import Path

질문 = "RAG 프로젝트에서 왜 검색 후보와 선택 근거를 답변보다 먼저 기록해야 하는가?"

data_path = Path("docs/assets/part-07/chapter-05/p7-5-rag-documents.csv")
document_rows = list(csv.DictReader(data_path.open(encoding="utf-8")))
대표_문서_ids = {f"문서-{index}" for index in range(1, 11)}
document_rows = [row for row in document_rows if row["doc_id"] in 대표_문서_ids]

SUFFIXES = [
    "에서는", "으로는", "으로", "보다", "해야", "하게", "했다", "한다",
    "한가", "인가", "과", "와", "은", "는", "이", "가", "을", "를",
    "만", "도", "의", "에", "로", "다",
]

def normalize_token(token):
    token = token.replace("?", "").replace(".", "").replace(",", "")
    token = token.replace("(", " ").replace(")", " ").split()[0]
    for keyword in ["RAG", "MCP"]:
        if token.startswith(keyword):
            return keyword

    changed = True
    while changed:
        changed = False
        for suffix in SUFFIXES:
            if token.endswith(suffix) and len(token) > len(suffix) + 1:
                token = token[: -len(suffix)]
                changed = True
                break
    return token

def tokenize(text):
    return {
        normalized
        for raw in text.split()
        if (normalized := normalize_token(raw))
    }

질문_토큰 = tokenize(질문)
검색_후보 = []

for row in document_rows:
    text = row["text"]
    overlap_terms = sorted(질문_토큰 & tokenize(text))
    direct_answer_clues = sum(
        phrase in text
        for phrase in ["검색 후보", "선택 근거", "최종 답변", "탈락 이유"]
    )
    failure_trace_bonus = 1 if ("검색 실패" in text or "답변 실패" in text) else 0
    indirect_penalty = 1 if ("운영 티켓" in text or "승인 상태" in text) else 0
    final_score = (
        len(overlap_terms)
        + direct_answer_clues
        + failure_trace_bonus
        - indirect_penalty
    )
    검색_후보.append({
        "문서 식별자": row["doc_id"],
        "겹친 핵심어": overlap_terms,
        "직접 근거 단서 수": direct_answer_clues,
        "실패 추적 보너스": failure_trace_bonus,
        "간접 후보 감점": indirect_penalty,
        "최종 점수": final_score,
        "문장": text,
    })

검색_후보.sort(
    key=lambda x: (
        x["최종 점수"],
        len(x["겹친 핵심어"]),
        x["직접 근거 단서 수"],
    ),
    reverse=True,
)

상위_후보 = 검색_후보[:6]

선택_근거 = []
탈락_후보 = []
for row in 상위_후보:
    text = row["문장"]
    if len(선택_근거) < 3 and (
        "선택 근거" in text
        or "최종 답변" in text
        or "답변 실패" in text
    ):
        선택_근거.append({
            "문서 식별자": row["문서 식별자"],
            "채택 이유": "질문에 직접 답하거나, 답변만 남겼을 때의 위험을 바로 설명한다",
            "문장": text,
        })
    else:
        if "운영 티켓" in text:
            reason = "기록이라는 단어는 겹치지만 에이전트 운영 로그라서 RAG 근거 기록 질문에는 직접 답하지 않는다"
        elif "검색 단계가 먼저 필요" in text:
            reason = "retrieval 필요성은 설명하지만 후보와 근거를 왜 따로 기록하는지까지는 직접 답하지 않는다"
        elif "RAG는 외부 문서를 검색해" in text:
            reason = "RAG의 구조 소개로는 유효하지만 이번 질문의 기록 기준을 닫기에는 부족하다"
        else:
            reason = "상위 후보였지만 이번 답변의 직접 근거로 쓰기에는 설명이 한 단계 비켜 있다"
        탈락_후보.append({
            "문서 식별자": row["문서 식별자"],
            "탈락 이유": reason,
            "문장": text,
        })

top1_답변 = (
    f"{상위_후보[0]['문장']} "
    "따라서 검색 후보와 선택 근거를 먼저 남겨야 한다."
)

근거_제한_답변 = (
    f"{선택_근거[0]['문장']} "
    f"{선택_근거[1]['문장']} "
    f"{선택_근거[2]['문장']} "
    "따라서 RAG 프로젝트에서는 답변만 저장하지 말고, 상위 검색 후보와 선택 근거를 먼저 기록해야 "
    "검색 실패와 답변 실패를 나중에 분리해서 검토할 수 있다."
)

실행_요약 = {
    "질문": 질문,
    "문서 수": len(document_rows),
    "상위 후보 수": len(상위_후보),
    "채택 근거 수": len(선택_근거),
    "탈락 후보 수": len(탈락_후보),
}

print("읽은 파일 =", str(data_path))
print("실행 요약 =", 실행_요약)
print("상위 검색 후보 =")
for row in 상위_후보:
    print(row)
print("선택 근거 =")
for row in 선택_근거:
    print(row)
print("탈락 후보 =")
for row in 탈락_후보:
    print(row)
print("답변 비교 =")
print({"구분": "top-1만 사용", "답변": top1_답변})
print({"구분": "선택 근거만 사용", "답변": 근거_제한_답변})

읽은 파일 = docs/assets/part-07/chapter-05/p7-5-rag-documents.csv
실행 요약 = {'질문': 'RAG 프로젝트에서 왜 검색 후보와 선택 근거를 답변보다 먼저 기록해야 하는가?', '문서 수': 10, '상위 후보 수': 6, '채택 근거 수': 3, '탈락 후보 수': 3}
상위 검색 후보 =
{'문서 식별자': '문서-4', '겹친 핵심어': ['RAG', '검색', '근거', '기록', '답변', '선택', '후보'], '직접 근거 단서 수': 3, '실패 추적 보너스': 1, '간접 후보 감점': 0, '최종 점수': 11, '문장': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다.'}
{'문서 식별자': '문서-3', '겹친 핵심어': ['검색', '근거', '선택', '후보'], '직접 근거 단서 수': 2, '실패 추적 보너스': 0, '간접 후보 감점': 0, '최종 점수': 6, '문장': '검색 후보 점수가 높아도 질문에 직접 답하지 않는 문장이 섞일 수 있으므로 선택 근거를 따로 남겨야 한다.'}
{'문서 식별자': '문서-8', '겹친 핵심어': ['검색', '근거', '답변'], '직접 근거 단서 수': 1, '실패 추적 보너스': 0, '간접 후보 감점': 0, '최종 점수': 4, '문장': '최종 답변만 저장하면 검색이 실패했는지 답변이 근거를 벗어났는지 나중에 구분하기 어렵다.'}
{'문서 식별자': '문서-7', '겹친 핵심어': ['검색', '후보'], '직접 근거 단서 수': 2, '실패 추적 보너스': 0, '간접 후보 감점': 0, '최종 점수': 4, '문장': '상위 검색 후보 비교표에는 선택된 문서뿐 아니라 탈락한 후보와 탈락 이유도 남겨야 다음 검색 실험에서 무엇이 달라졌는지 설명할 수 있다.'}
{'문서 식별자': '문서-9', '겹친 핵심어': ['RAG', '근거', '기록', '답변'], '직접 근거 단서 수': 0, '실패 추적 보너스': 0, '간접 후보 감점': 1, '최종 점수': 3, '문장': '운영 티켓 기록은 실행 순서와 승인 상태를 남기지만 그것만으로는 RAG 답변의 근거 품질을 설명할 수 없다.'}
{'문서 식별자': '문서-1', '겹친 핵심어': ['RAG', '근거', '답변'], '직접 근거 단서 수': 0, '실패 추적 보너스': 0, '간접 후보 감점': 0, '최종 점수': 3, '문장': 'RAG는 외부 문서를 검색해 모델 입력에 넣고 그 근거 위에서 답변을 구성하는 구조다.'}
선택 근거 =
{'문서 식별자': '문서-4', '채택 이유': '질문에 직접 답하거나, 답변만 남겼을 때의 위험을 바로 설명한다', '문장': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다.'}
{'문서 식별자': '문서-3', '채택 이유': '질문에 직접 답하거나, 답변만 남겼을 때의 위험을 바로 설명한다', '문장': '검색 후보 점수가 높아도 질문에 직접 답하지 않는 문장이 섞일 수 있으므로 선택 근거를 따로 남겨야 한다.'}
{'문서 식별자': '문서-8', '채택 이유': '질문에 직접 답하거나, 답변만 남겼을 때의 위험을 바로 설명한다', '문장': '최종 답변만 저장하면 검색이 실패했는지 답변이 근거를 벗어났는지 나중에 구분하기 어렵다.'}
탈락 후보 =
{'문서 식별자': '문서-7', '탈락 이유': '상위 후보였지만 이번 답변의 직접 근거로 쓰기에는 설명이 한 단계 비켜 있다', '문장': '상위 검색 후보 비교표에는 선택된 문서뿐 아니라 탈락한 후보와 탈락 이유도 남겨야 다음 검색 실험에서 무엇이 달라졌는지 설명할 수 있다.'}
{'문서 식별자': '문서-9', '탈락 이유': '기록이라는 단어는 겹치지만 에이전트 운영 로그라서 RAG 근거 기록 질문에는 직접 답하지 않는다', '문장': '운영 티켓 기록은 실행 순서와 승인 상태를 남기지만 그것만으로는 RAG 답변의 근거 품질을 설명할 수 없다.'}
{'문서 식별자': '문서-1', '탈락 이유': 'RAG의 구조 소개로는 유효하지만 이번 질문의 기록 기준을 닫기에는 부족하다', '문장': 'RAG는 외부 문서를 검색해 모델 입력에 넣고 그 근거 위에서 답변을 구성하는 구조다.'}
답변 비교 =
{'구분': 'top-1만 사용', '답변': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다. 따라서 검색 후보와 선택 근거를 먼저 남겨야 한다.'}
{'구분': '선택 근거만 사용', '답변': 'RAG 프로젝트 기록에는 질문 검색 후보 선택 근거 최종 답변을 분리해 남겨야 검색 실패와 답변 실패를 나중에 구분할 수 있다. 검색 후보 점수가 높아도 질문에 직접 답하지 않는 문장이 섞일 수 있으므로 선택 근거를 따로 남겨야 한다. 최종 답변만 저장하면 검색이 실패했는지 답변이 근거를 벗어났는지 나중에 구분하기 어렵다. 따라서 RAG 프로젝트에서는 답변만 저장하지 말고, 상위 검색 후보와 선택 근거를 먼저 기록해야 검색 실패와 답변 실패를 나중에 분리해서 검토할 수 있다.'}

질문:
상위 후보:
선택 근거:
탈락한 상위 후보:
탈락 이유:
근거 제한 답변:
다음 검색 실험에서 바꿀 점: