콘텐츠로 이동

P1-10.3 생성 결과(output)의 품질(quality)과 위험(risk)

Section ID: P1-10.3 Version: v2026.07.20

10.1에서는 분류(classification), 예측(prediction), 생성(generation)의 차이를 봤습니다. 10.2에서는 생성형 AI(generative AI)가 조건(condition)을 바탕으로 산출물을 점진적으로 구성한다는 직관을 봤습니다.

여기서는 생성된 결과를 어떻게 받아들여야 하는지 다룹니다.

여기서 던지는 핵심 질문은 생성형 AI의 결과가 자연스럽고 그럴듯해 보이면 그 결과를 믿어도 되는가입니다.

입문 단계의 기준선은 분명합니다.

자연스러움은 품질의 일부일 뿐이고, 사실성, 근거, 안전성, 저작권, 개인정보, 사용 맥락을 따로 검토해야 한다.

Part 1에서 품질(quality), 근거(evidence), 환각(hallucination), confabulation, 안전(safety), 권리와 책임(rights and responsibility)의 입문 구분은 여기서 잡습니다. 10.1에서는 무엇을 출력하는가를, 10.2에서는 어떻게 생성해 가는가를 봤고, 여기서는 그 결과를 어떻게 읽고 검토할 것인가를 따로 분리합니다. 저작권, 보안, 개인정보의 상세 논의는 P1-15에서 다시 이어집니다.

여기서는 생성형 AI의 위험을 모두 다루지 않습니다. 법률 판단, 보안 설계, 개인정보 보호, 저작권 분쟁, AI 거버넌스(governance)는 P1-15에서 더 자세히 다룹니다.

품질, 근거, 환각, 안전, 권리와 책임은 초반에 모두 비슷한 검토 항목처럼 들릴 수 있습니다. 우선 각 용어의 자리를 짧게 구분하면 다음과 같습니다.

용어 아주 짧은 뜻 이 절에서의 역할
품질 결과가 요청에 맞고 읽을 수 있는 정도 가장 먼저 보이는 평가 축
근거 사실 주장을 뒷받침하는 출처와 확인 가능성 자연스러움과 정확성을 가르는 축
환각 그럴듯하지만 근거 없는 오류 생성형 AI의 대표 위험
안전 사람과 시스템에 해를 줄 가능성 출력 사용 맥락의 위험 평가
권리와 책임 저작권, 개인정보, 비밀 정보, 사용 책임 공개·배포 전 검토 축

여기서 유지해야 할 최소 구분은 자연스러움 != 사실성, 환각은 그럴듯한 오류, 안전과 권리는 따로 본다입니다.

여기서는 10장의 마무리로 다음 네 가지 관점을 기준선으로 둡니다.

관점 핵심 질문
품질(quality) 결과가 요청에 맞고, 읽을 수 있고, 유용한가?
근거(evidence) 사실 주장에 확인 가능한 출처가 있는가?
안전(safety) 사람, 조직, 사회에 해를 만들 수 있는가?
권리와 책임(rights and responsibility) 저작권, 개인정보, 비밀 정보, 사용 책임을 검토했는가?

자연스러운 생성 결과를 검토하는 기준

  • 생성 결과의 자연스러움과 사실성을 구분합니다.
  • 환각(hallucination) 또는 confabulation을 근거 없는 사실 주장으로 이해합니다.
  • AI 출력에 출처와 근거가 자동으로 포함되지 않음을 이해합니다.
  • 생성 결과의 위험을 품질, 근거, 안전, 권리 관점으로 나눠 봅니다.
  • 이 책에서 AI가 만든 초안을 사람이 검토해야 하는 이유를 정리합니다.

세 가지 기준

여기서는 생성형 AI를 금지하거나 두려워하자는 쪽이 아니라, 결과를 어떻게 읽어야 하는지 정리하는 데 집중합니다. 아래 세 가지 기준이 잡히면 흐름이 정리됩니다.

기준 왜 중요한가 이 절에서 필요한 이해 수준
자연스러운 문장과 사실이 맞는 문장은 다를 수 있다는 점 생성형 AI의 가장 흔한 오해를 바로 잡아 줍니다. 매끄럽게 써도 틀릴 수 있다는 점만 분명히 알면 됩니다.
출처와 근거는 자동으로 따라오지 않는다는 점 이 책 전체의 검증 원칙과 연결됩니다. 사실 주장은 따로 확인해야 한다고 이해하면 됩니다.
위험은 품질만이 아니라 안전, 권리, 책임까지 포함한다는 점 P1-15의 윤리·저작권·보안 장으로 자연스럽게 이어집니다. “잘 써졌다”만으로는 충분하지 않다고 알면 됩니다.

자연스러운 문장과 맞는 문장은 다르다

생성형 AI의 출력은 매우 자연스럽게 보일 수 있습니다. 문장이 매끄럽고, 표현이 그럴듯하고, 표나 목록도 깔끔하게 만들 수 있습니다.

하지만 자연스러움은 정확성(accuracy)과 같지 않습니다.

자연스러운 문장: 읽기 쉽고 그럴듯한 문장

정확한 문장: 사실, 범위, 조건, 근거가 맞는 문장

예를 들어 다음 문장은 형식상 자연스러워 보일 수 있습니다.

Transformer는 2012년에 발표되었고 AlexNet의 직접 후속 연구다.

하지만 이 문장은 사실 관계가 틀립니다. Transformer 논문은 2017년에 발표되었고, AlexNet은 LLM의 직접 후속 연구라기보다 딥러닝 확산의 주변 근거로 보는 편이 안전합니다.

생성형 AI를 사용할 때 가장 위험한 지점은 바로 여기에 있습니다.

문장이 자연스럽다 -> 그래서 맞는 말처럼 느껴진다 -> 근거 확인 없이 본문에 들어간다

여기서는 이 흐름을 막아야 합니다.

환각은 그럴듯한 오류다

NIST의 Generative AI Profile은 confabulation을 자신 있게 제시되지만 잘못되었거나 거짓인 콘텐츠의 생성으로 설명하고, 이를 흔히 hallucination 또는 fabrication이라고 부른다고 정리합니다. NIST는 이런 현상이 생성 모델이 학습 데이터의 통계적 분포를 근사해 출력을 생성하는 방식과 관련 있다고 설명합니다.

여기서는 한국어 본문에서 환각(hallucination)이라는 표현을 쓰되, 가능하면 근거 없는 생성, 그럴듯한 오류, confabulation을 함께 떠올립니다.

환각은 다음처럼 나타날 수 있습니다.

유형 예
없는 출처 만들기 존재하지 않는 논문, 책, URL을 만들어 냄
틀린 연도 제시 논문 발표 연도나 사건 시점을 잘못 말함
개념 혼합 AlexNet, YOLO, LLM의 계보를 직접 연결한 것처럼 설명
과도한 일반화 일부 모델의 특징을 모든 생성형 AI에 적용
거짓 인용 실제 원문에 없는 문장을 인용문처럼 제시

환각의 문제는 단순히 “틀릴 수 있다”가 아닙니다. 틀린 내용이 자연스럽고 확신 있게 제시되기 때문에 사람이 검토하지 않으면 본문에 들어가기 쉽습니다.

근거 누락은 품질 문제다

여기서는 AI가 만든 문장을 초안으로 봅니다. 초안은 유용할 수 있지만, 사실 주장에는 근거가 필요합니다.

다음 두 문장은 겉보기에는 비슷하지만 품질이 다릅니다.

근거 없는 문장: 대부분의 AI 연구자는 생성형 AI가 인간 사고를 재현한다고 본다.

더 안전한 문장: 생성형 AI는 학습 데이터의 패턴을 바탕으로 새 산출물을 생성하지만, 그 작동을 인간 사고의 재현으로 볼 수 있는지는 별도 검토가 필요하다.

특히 다음 문장은 반드시 출처를 확인해야 합니다.

문장 유형 확인할 것
역사 설명 연도, 논문, 연구자, 맥락
기술 정의 공식 문서, 교과서, 논문
제품 기능 공식 문서, 릴리스 노트
법률·정책 법령, 기관 보고서, 전문가 검토
최신 동향 날짜가 있는 뉴스, 보고서, 공식 발표
예측 누가, 언제, 어떤 근거로 전망했는지

생성형 AI가 출처를 함께 제시하더라도 그 출처가 실제로 본문 주장을 뒷받침하는지는 다시 확인해야 합니다. 링크가 있다는 것과 근거가 있다는 것은 같은 말이 아닙니다.

안전 문제는 출력 이후에 드러난다

생성형 AI의 위험은 모델 내부에만 있지 않습니다. 출력이 어디에 쓰이는지에 따라 위험이 달라집니다.

NIST는 생성형 AI 위험으로 confabulation, data privacy, information integrity, information security, intellectual property 같은 범주를 제시합니다. OWASP Top 10 for LLM Applications 2025도 prompt injection, sensitive information disclosure, improper output handling, excessive agency 같은 LLM 애플리케이션 보안 위험을 별도로 다룹니다.

여기서는 다음 정도로 나눠 봅니다.

위험 설명 예
사실성 위험 틀린 내용을 맞는 것처럼 제시 존재하지 않는 판례나 논문 요약
정보 무결성 위험 허위 정보나 조작된 콘텐츠 확산 가짜 이미지, 가짜 뉴스 초안
개인정보 위험 민감한 정보가 입력되거나 출력됨 고객 정보, 의료 정보, 내부 문서
보안 위험 모델 출력이 시스템 동작에 연결됨 prompt injection, 부적절한 코드 실행
저작권 위험 타인의 표현이나 데이터 사용 문제가 생김 긴 원문 재현, 무단 이미지 스타일 복제
과신 위험 사람이 검토 없이 결과를 사용 의료, 법률, 금융 판단에 그대로 사용

여기서 중요한 점은 “AI가 위험하다”라는 단순 결론이 아닙니다. 더 정확한 관점은 다음입니다.

출력의 위험은 모델, 입력 데이터, 사용 목적, 검토 절차, 배포 환경이 함께 만든다.

언론 보도는 실제 사용 맥락을 보여 준다

언론 보도는 개념 정의의 기준은 아닙니다. 하지만 생성형 AI의 위험이 실제 사용 맥락에서 어떻게 드러나는지 보여 주는 보조 사례가 됩니다.

보도된 맥락 연결되는 위험 10.3에서 읽을 관점
선거 캠페인 웹사이트에 AI가 만든 가짜 뉴스형 글이 올라간 사례 정보 무결성(information integrity), 환각(hallucination), 검토 누락 뉴스처럼 보이는 문장도 실제 출처와 사실 확인이 필요하다.
법정 문서에 존재하지 않는 AI 생성 판례가 인용된 사례 사실성 위험, 고위험 영역, 책임(accountability) 법률, 의료, 금융처럼 영향이 큰 영역에서는 사람 검토가 필수다.
기만적 AI 생성 미디어와 딥페이크(deepfake)에 대한 법적 대응 사례 안전(safety), 권리(rights), 사회적 신뢰 생성 결과는 개인 권리, 평판, 선거, 공적 신뢰 문제로 이어질 수 있다.

따라서 이 절에서 언론 보도는 “실제 사례”로만 사용합니다. 기준 설명은 NIST, OWASP, 저작권청처럼 더 안정적인 공식·전문 자료에 둡니다.

저작권과 권리 문제는 초안 단계에서도 검토한다

생성형 AI 결과가 새 문장이나 이미지를 만든다고 해서 권리 문제가 사라지는 것은 아닙니다.

미국 저작권청(US Copyright Office)의 AI와 저작권 보고서는 인간 저작(human authorship)이 저작권 보호의 핵심 요건이라는 관점을 유지합니다. 또한 AI가 전적으로 생성한 콘텐츠와 인간의 창작적 기여가 포함된 AI 보조 산출물은 구분해서 검토해야 한다고 설명합니다.

이 책은 한국어 공개 문서이고, 한국 출판물과 교육 자료를 다룰 수 있으므로 대한민국 저작권법 관점의 검토가 별도로 필요합니다. 다만 여기서는 법률 결론을 내리지 않습니다. P1-15에서 더 자세히 다룹니다.

10.3에서 기억할 기준은 다음입니다.

AI가 만들어 준 문장이라도 출처 없이 사실처럼 쓰지 않는다.

AI가 요약해 준 원문이라도 저작권 있는 표현을 길게 옮기지 않는다.

AI가 만들어 준 이미지나 코드라도 라이선스, 원본성, 유사성, 사용 범위를 검토한다.

생성 결과를 다룰 때의 기본 검토 절차

학습 문서, 업무 문서, 공개 글처럼 생성 결과를 외부에 다시 쓰는 상황에서는 초안을 그대로 믿지 않고 다음 절차로 다루는 편이 안전합니다.

AI 초안 생성 -> 주장 분리 -> 근거 확인 -> 표현 일반화 -> 도메인 경계 확인 -> 사람 검토 -> 공개 문서 반영

각 단계의 의미는 다음과 같습니다.

단계 확인할 것
주장 분리 사실 주장, 해석, 작업 가설을 나눔
근거 확인 실제 출처가 본문 주장을 뒷받침하는지 봄
표현 일반화 개인적 직관을 표준 개념과 연결
도메인 경계 확인 다른 Section의 내용을 침범하지 않음
사람 검토 틀린 내용, 위험한 표현, 누락된 근거를 수정

핵심은 같습니다. AI는 빠르게 초안을 만들 수 있지만, 문서의 신뢰성은 초안 생성 속도가 아니라 검토 과정에서 나옵니다.

체크리스트

  • 자연스러운 문장과 정확한 문장을 구분할 수 있다.
  • 환각(hallucination) 또는 confabulation을 그럴듯한 오류로 설명할 수 있다.
  • 출처 링크가 있다고 해서 근거 검토가 끝난 것이 아님을 설명할 수 있다.
  • 생성 결과의 위험을 사실성, 정보 무결성, 개인정보, 보안, 저작권, 과신으로 나눠 볼 수 있다.
  • AI 초안을 공개 문서에 반영하기 전에 사람의 검토가 필요함을 설명할 수 있다.
  • P1-15에서 저작권, 보안, 개인정보를 더 자세히 다뤄야 함을 기억할 수 있다.
  • 자연스러움, 정확성, 근거, 사용 맥락, 권리와 책임을 분리해 검토할 수 있다.
  • 생성형 AI를 학습 도구로 쓸 때도 초안을 사람이 더 엄격하게 검토해야 함을 설명할 수 있다.

출처와 참고 자료