콘텐츠로 이동

P1-6.3 AI에서 확률적 판단이 쓰이는 곳

Section ID: P1-6.3 Version: v2026.07.20

6.2에서는 불확실성(uncertainty), 확률(probability), 확률적 과정(stochastic)을 구분했습니다. 이번 절에서는 그 구분이 실제 AI 시스템에서 어디에 쓰이는지 봅니다.

여기서 던지는 질문은 다음입니다. AI 시스템은 어디에서 확률을 사용하고, 그 숫자는 어떻게 조심해서 읽어야 할까입니다.

AI가 확률(probability)을 사용한다는 말은 “아무렇게나 답한다”는 뜻이 아닙니다. 정보가 부족하거나 후보가 여러 개일 때, 가능한 결과의 그럴듯함을 숫자로 비교한다는 뜻에 가깝습니다.

Part 1에서 확률 숫자가 실제 AI 시스템에서 어떻게 쓰이는가의 기본 기준은 이 절에서 잡습니다. 6.2에서는 불확실성, 확률, 확률적 과정의 용어 기준을 먼저 잡았고, 여기서는 그 숫자가 분류, 예측, 생성, 의사결정에서 어떤 역할을 하는지와 왜 그대로 정답이나 책임 있는 결정으로 읽으면 안 되는지를 정리합니다.

6.3은 확률 계산 방법을 설명하지 않습니다. 조건부 확률, 베이즈 규칙(Bayes' rule), 확률 분포(probability distribution)의 수학은 Part 2에서 다시 다룹니다.

또한 여기서는 LLM의 생성 알고리즘을 자세히 설명하지 않습니다. temperature, top-p, sampling 같은 생성 설정은 Part 5에서 다룹니다.

여기서는 다음 정도만 잡습니다.

확률은 분류, 예측, 생성, 의사결정에서 쓰인다. 하지만 확률 출력은 그대로 정답이나 책임 있는 결정이 아니다.

확률 출력을 판단 재료로 읽는 기준

  • 분류(classification)에서 확률 추정값(probability estimate)이 어떻게 쓰이는지 이해합니다.
  • 예측(regression, forecasting)에서 값 하나뿐 아니라 불확실성(uncertainty)을 함께 볼 수 있음을 이해합니다.
  • 생성(generation)에서 후보 선택과 temperature가 왜 연결되는지 입문 수준에서 이해합니다.
  • 확률 출력이 판단 재료이지 최종 결정 자체는 아니라는 점을 이해합니다.
  • 보정(calibration), 임계값(threshold), 사람 검토(human review)가 왜 필요한지 감을 잡습니다.

세 가지 기준

여기서는 확률 계산 공식을 배우기보다, AI 시스템이 숫자를 어디에 쓰는지 읽습니다. 아래 세 가지 관점을 먼저 잡으면 흐름이 정리됩니다.

기준 왜 중요한가 이 절에서 필요한 이해 수준
분류에서 확률 점수는 후보의 그럴듯함을 비교하는 재료라는 점 높은 점수를 곧바로 정답으로 읽는 실수를 줄여 줍니다. 0.68은 현재 후보들 가운데 가장 높게 평가되었다는 뜻이지 절대 참이라는 뜻은 아닙니다.
예측과 생성에서도 불확실성이나 후보 선택이 함께 따라온다는 점 확률이 분류에만 쓰인다고 좁게 보지 않게 해 줍니다. 숫자 하나만 보는 것이 아니라 범위, 후보, 선택 과정을 함께 읽어야 합니다.
확률 출력은 최종 업무 결정과 같지 않다는 점 정책, 임계값, 사람 검토가 왜 필요한지 보여 줍니다. 모델 점수 뒤에는 서비스 정책과 비용 판단, 필요하면 사람 검토가 한 번 더 붙습니다.

확률 추정값, 임계값, 보정, 생성 설정, 의사결정은 초반에 비슷한 숫자 문제처럼 들릴 수 있습니다. 아래처럼 자리만 짧게 구분해 두고 읽으면 됩니다.

용어 아주 짧은 뜻 이 절에서의 역할
확률 추정값 후보가 얼마나 그럴듯한지 나타내는 숫자 분류와 예측에서 비교 기준
임계값 점수를 보고 행동을 갈라놓는 기준선 자동 처리, 보류, 사람 검토를 나누는 기준
보정 점수를 실제 신뢰 수준처럼 읽을 수 있는지 확인하는 일 0.80을 어느 정도 믿을지 점검
생성 설정 생성 후보 선택 방식을 조절하는 값 temperature 같은 출력 변동성 조절 기준
의사결정 모델 숫자와 비용·정책을 함께 보고 행동을 정하는 일 확률을 실제 서비스 행동으로 연결하는 단계

여기서는 확률 숫자는 후보 비교, 임계값은 행동 분기, 보정은 숫자 해석 점검, 생성 설정은 선택 방식 조절, 의사결정은 서비스 행동 결정이라는 자리 구분이 먼저 남아 있으면 됩니다.

한눈에 보기

AI 시스템에서 확률적 관점은 여러 위치에 나타납니다.

쓰이는 곳 예시 확률이 하는 일 주의할 점
분류(classification) 문의를 배송, 환불, 결제로 나누기 후보 라벨의 그럴듯함을 비교 높은 점수가 곧 참이라는 뜻은 아님
예측(regression, forecasting) 도착 시간, 수요, 가격 예측 숫자와 불확실성을 함께 표현 평균값 하나만 보면 위험할 수 있음
생성(generation) 다음 단어, 문장, 이미지 후보 선택 여러 후보 중 선택 방식을 조절 같은 입력에도 설정에 따라 출력이 달라질 수 있음
의사결정(decision) 자동 처리, 보류, 사람 검토 확률과 비용을 기준으로 행동 선택 확률만으로 책임 있는 결정을 대신할 수 없음

분류(classification): 어느 후보가 더 그럴듯한가

분류(classification)는 입력을 정해진 후보 중 하나 또는 여러 개로 나누는 작업입니다. 예를 들어 고객 문의를 다음처럼 나눌 수 있습니다.

후보 라벨(label) 확률 추정값(probability estimate)
배송 문의 0.68
환불 문의 0.21
결제 문의 0.08
기타 0.03

이 표를 보면 배송 문의가 가장 그럴듯해 보입니다. 하지만 0.68은 “배송 문의가 절대적으로 참이다”라는 뜻이 아닙니다. 현재 입력, 데이터, 모델, 계산 방식 안에서 배송 후보가 가장 높게 평가되었다는 뜻에 가깝습니다.

Google의 Machine Learning Glossary는 다중 클래스 분류(multi-class classification)에서 softmax가 가능한 각 클래스의 확률을 계산하고, 그 확률의 합이 1이 된다고 설명합니다. scikit-learn 문서도 분류(classification)에서는 클래스 라벨뿐 아니라 해당 라벨의 확률을 얻고 싶을 때가 많다고 설명합니다.

이때 실무에서는 임계값(threshold)을 정할 수 있습니다.

조건 처리
최고 점수 0.90 이상 자동 분류
최고 점수 0.60 이상 0.90 미만 후보를 제안하고 사람 검토
최고 점수 0.60 미만 추가 질문 또는 보류

임계값(threshold)은 단순한 기술 설정이 아닙니다. 잘못 자동 처리했을 때의 비용, 사용자의 불편, 안전 요구, 법적 책임에 따라 달라집니다.

확률 출력은 보정(calibration)이 필요할 수 있다

모델이 0.80이라고 출력했다고 해서, 실제로 항상 80%의 의미를 갖는 것은 아닙니다. scikit-learn은 어떤 모델은 클래스 확률을 좋지 않게 추정할 수 있으며, 잘 보정된 분류기(well-calibrated classifier)에서는 predict_proba 출력을 신뢰 수준(confidence level)으로 직접 해석할 수 있다고 설명합니다.

보정(calibration)은 다음 질문으로 읽는 것이 안전합니다.

모델이 0.80이라고 말한 사례들을 모아 보면 실제로 대략 80%가 맞는가?

이 질문이 보정(calibration)의 출발점입니다. 보정(calibration)은 모델의 점수를 더 믿을 수 있는 확률처럼 읽을 수 있는지 확인하는 과정입니다.

다만 6.3에서는 보정 방법을 계산하지 않습니다. 여기서는 확률 출력이 곧바로 진실의 비율이 아닐 수 있다는 점만 남겨 둡니다.

예측(regression, forecasting): 숫자 하나보다 범위가 필요할 때

예측은 꼭 라벨을 고르는 일만 뜻하지 않습니다. 배송 도착 시간, 다음 달 수요, 서버 비용, 상품 가격처럼 숫자를 예측하는 일도 있습니다.

예를 들어 배송 도착 시간을 예측한다고 해 봅니다.

출력 방식 예시 해석
점 예측(point prediction) 내일 15시 도착 하나의 대표값을 제시
범위 예측 내일 13시-18시 사이 도착 가능성이 높음 불확실성을 함께 제시
확률적 예측(probabilistic prediction) 15시 전 60%, 18시 전 90% 시간별 가능성을 숫자로 표현

Google의 Machine Learning Glossary는 확률적 회귀 모델(probabilistic regression model)이 예측값과 그 예측의 불확실성을 함께 생성할 수 있다고 설명합니다.

이 관점은 실무에서 중요합니다. 평균 도착 시간이 같아도 불확실성은 다를 수 있기 때문입니다.

상황 평균 예측 불확실성
도심 당일 배송 4시간 낮음
폭우가 오는 장거리 배송 4시간 높음

두 경우 모두 평균은 4시간일 수 있습니다. 하지만 운영 판단은 같지 않아야 합니다. 불확실성이 높다면 고객 안내 문구, 재고 배치, 상담 연결 기준이 달라질 수 있습니다.

생성(generation): 후보 중에서 무엇을 선택할 것인가

생성형 AI(generative AI)는 텍스트, 이미지, 음성, 코드 같은 출력을 만들어 냅니다. 이때도 후보가 하나만 있는 것이 아닙니다. 여러 후보 중 어떤 것을 선택할지의 문제가 생깁니다.

예를 들어 다음 문장을 이어 쓴다고 해 봅니다.

AI는 불완전한 정보를 다룰 때

가능한 다음 표현은 여러 개입니다.

후보 느낌
확률을 사용한다 설명적
추가 근거를 기다린다 판단 과정 중심
여러 가능성을 비교한다 일반적
사람의 검토를 요청한다 서비스 운영 중심

Google의 Machine Learning Glossary는 temperature를 모델 출력의 무작위성(randomness) 정도를 제어하는 하이퍼파라미터(hyperparameter)로 설명합니다. 높은 temperature는 더 무작위적인 출력을, 낮은 temperature는 덜 무작위적인 출력을 만드는 방향으로 작동합니다.

여기서 주의할 점이 있습니다. temperature는 학습으로 만들어진 모델 파라미터(parameter)가 아닙니다. 모델을 실행할 때 출력 선택 방식을 조절하는 설정에 가깝습니다. 사용자가 이전에 혼동했던 것처럼 temperature를 모델 내부의 학습된 파라미터와 같은 것으로 이해하면 안 됩니다.

여기서는 다음 두 문장이 기준선입니다.

생성은 여러 후보 중 하나를 고르는 과정과 연결된다. temperature 같은 설정은 그 선택의 변동성을 조절한다.

자세한 생성 방식은 P1-11부터 P1-14, 그리고 Part 5에서 다시 다룹니다.

의사결정(decision): 확률은 결론이 아니라 판단 재료다

AI 시스템에서 확률은 종종 행동 선택과 연결됩니다.

모델 출력 가능한 행동
배송 문의 0.95 배송 자동 응답
배송 문의 0.68, 환불 문의 0.25 상담원에게 후보 제안
모든 후보가 0.40 이하 추가 질문
위험 거래 0.82 자동 차단이 아니라 보류와 검토

중요한 점은 확률이 결정을 대신하지 않는다는 것입니다. 결정에는 비용, 위험, 정책, 사용자 경험, 법적 책임이 함께 들어갑니다.

예를 들어 스팸 메일 필터에서는 정상 메일을 스팸으로 잘못 분류하는 비용이 큽니다. 의료 보조 시스템에서는 놓치면 안 되는 위험 신호가 있을 수 있습니다. 고객 지원 자동화에서는 낮은 확률의 자동 응답이 고객 불만을 키울 수 있습니다.

그래서 확률 출력은 다음 질문과 함께 읽어야 합니다.

이 숫자가 틀리면 어떤 비용이 생기는가? 사람 검토가 필요한 지점은 어디인가? 임계값은 누가 어떤 책임으로 정하는가?

같은 숫자도 문맥에 따라 다르다

0.70이라는 숫자는 작업에 따라 의미가 다릅니다.

문맥 0.70의 가능한 의미 조심할 점
문의 분류 배송 문의 후보 점수 보정된 확률인지 확인 필요
이미지 분류 특정 클래스 확률 데이터 분포가 바뀌면 의미가 흔들릴 수 있음
배송 예측 특정 시간 안에 도착할 가능성 예측 범위와 조건을 함께 봐야 함
생성 후보 선택 과정의 상대적 가능성 출력 품질이나 사실성을 보장하지 않음

따라서 확률 숫자를 볼 때는 항상 “무엇에 대한 확률인가”를 먼저 물어야 합니다.

확률 숫자는 혼자 의미를 갖지 않는다. 작업, 데이터, 모델, 보정, 임계값, 책임 구조 안에서 읽어야 한다.

체크리스트

  • 분류(classification)에서 확률 추정값(probability estimate)이 후보 라벨의 그럴듯함을 표현한다는 점을 설명할 수 있다.
  • 임계값(threshold)이 기술 설정이면서 동시에 비용과 책임의 문제라는 점을 설명할 수 있다.
  • 보정(calibration)이 모델의 확률 출력을 신뢰 수준(confidence level)처럼 읽을 수 있는지 확인하는 문제라는 점을 설명할 수 있다.
  • 예측(regression, forecasting)에서는 값 하나뿐 아니라 불확실성(uncertainty)을 함께 볼 수 있음을 설명할 수 있다.
  • 생성(generation)에서는 여러 후보 중 선택하는 문제가 있고, temperature가 출력 변동성과 연결된다는 점을 설명할 수 있다.
  • 확률 출력이 최종 결정이 아니라 판단 재료라는 점을 설명할 수 있다.
  • 모델 점수, 임계값, 사람 검토, 최종 의사결정이 각각 어디서 갈리는지 설명할 수 있다.
  • 확률 숫자 -> 곧바로 정답으로 읽지 않고 서비스 문맥에서 해석할 수 있다.

출처와 참고 자료