ROCm 추론의 SDPA 수치 오류와 GPU 메모리 재매핑 조사
CUDA에서 ROCm으로 추론 환경을 전환한 후, 어텐션 연산의 NaN과 기준값 불일치를 조사했습니다. 동일한 유한 입력에 대해 기본 SDPA 경로와 수학 SDPA 경로의 결과가 다르거나, 출력이 유한하지만 반복 결과가 일치하지 않는 사례가 확인되었습니다.
조사를 진행하는 과정에서 모델의 메모리 할당 설정에 따른 잠재값 차이도 발견했습니다. 이후 PyTorch를 사용하지 않는 별도 진단에서 GPU 가상 주소 재사용과 관련된 메모리 손상을 재현했습니다. SDPA 경로의 수치 오류와 메모리 재매핑 손상은 각각 관측된 현상이며, 두 현상이 동일한 원인이라는 증거는 없습니다.
본 글은 SDPA 조사에서 출발해 모델 경계를 검사하고, 드라이버와 커널을 비교한 과정을 정리합니다. 결과는 특정 장비와 입력, 반복 횟수에서의 관측이며 모든 AMD GPU나 모델에 일반화할 수 없습니다.
SDPA 수치 오류에서 출발한 조사
SDPA(Scaled Dot-Product Attention)는 Q·K·V 텐서를 입력받아 어텐션 출력을 계산하는 연산입니다. PyTorch는 환경과 입력 조건에 따라 여러 구현 경로 중 하나를 선택합니다. 이번 조사에서는 같은 Q·K·V에 대해 기본 경로를 반복 실행하고 수학 경로와 비교해 출력의 유한성과 수치 차이를 확인했습니다.
Radeon 8060S의 Wan VAE에서 확보한 유한한 BF16 Q·K·V는 [1, 1, 64, 384] 형상이었습니다. 인코더와 디코더 모두 기본 경로의 출력은 유한했지만, 수학 경로 대비 평균 절대 오차가 각각 2.10054와 0.23022였고 기본 경로의 세 반복 결과도 서로 일치하지 않았습니다. 이는 해당 입력과 실행 조건의 관측이며, 선택된 정확한 GPU 커널과 다른 모델 입력에서의 동작은 확인되지 않았습니다.
별도의 HeartMuLa 코드북 디코더에서는 유한한 입력에 대해 기본 SDPA가 NaN을 반환한 반면 같은 입력의 수학 SDPA는 유한했습니다. 이 경로는 Wan VAE와 모델 및 입력 형상이 다르므로 동일한 커널 결함이라고 단정할 수 없습니다. 반대로 이미 Q·K·V에 NaN이 포함된 사례에서는 기본·수학 경로 모두 NaN을 반환했습니다. 따라서 SDPA 입력의 손상 여부와 유한 입력에 대한 연산 결과를 구분해 검사해야 합니다.
Wan VAE의 인코딩·디코딩에 수학 SDPA를 제한적으로 적용했지만, 후속 생성에서 품질 손상과 비유한 값이 관측됐습니다. 이 우회만으로 전체 생성 문제가 해결되었다고 판정하지 않았습니다.
시험 환경과 문제 정의
아래 모델 시험에 사용한 Animate2는 Wan Animate-2 Base 모델과 Diffusers의 WanAnimate2ModularPipeline을 사용하는 동작 전사 워크플로를 의미합니다. 캐릭터 참조 이미지와 인체 동작 영상을 입력받아 해당 동작이 적용된 영상을 생성합니다. VAE(변분 오토인코더)는 영상 데이터를 모델이 처리하는 잠재 표현으로 변환하고, 생성된 잠재 표현을 영상으로 복원하는 구성 요소입니다.
시험 장비는 Ubuntu 26.04.1 LTS, AMD Ryzen AI Max+ PRO 395, Radeon 8060S (gfx1151)입니다. 기본 환경의 커널은 Ubuntu 정식 7.0.0-43-generic이었습니다.
Animate2의 65프레임 입력을 VAE로 처리할 때 PyTorch의 expandable_segments 설정에 따라 잠재값이 달라졌습니다. False에서 만든 기준과 비교하면, True의 과거 두 결과는 각각 잠재값 1,577,600개 중 901,738개와 971,113개가 달랐습니다.
NaN이 나타나는 경우도 있었지만, NaN이 없다는 사실만으로 값이 정상이라고 판단할 수는 없었습니다. 또한 기본 7.0의 두 결과와 7.4 비교 시험은 후크 사용 여부 등 계측 조건이 완전히 같지 않았으므로, 불일치 개수를 커널 간 통제된 비교로 해석하지 않았습니다.
SDPA 조사에서 드라이버까지 이어진 경로
SDPA 경로를 비교한 뒤에도 전체 생성에서 비유한 값이 다시 관측되었습니다. 이에 따라 VAE를 비롯한 앞 단계의 출력과 어텐션 입력 경계까지 조사를 확장했습니다. 같은 VAE 입력에서 expandable_segments 설정에 따라 잠재값이 달라지는 현상이 관측되었고, 모델 계산과 메모리 할당·주소 재사용을 분리해 확인할 필요가 생겼습니다.
다음 흐름도에서 화살표는 다음 조사 단계로 이어진 근거를 뜻합니다. SDPA 수치 오류가 메모리 재매핑 손상으로 인해 발생했다는 인과관계를 뜻하지는 않습니다.
flowchart TD
A["ROCm 전환 후 SDPA 출력 이상 관측"] --> B["동일 Q·K·V의 기본·수학 SDPA 비교"]
B --> C["SDPA 경로 차이 확인<br/>VAE 수학 경로 적용 후에도 전체 생성 문제 잔존"]
C --> D["VAE 입력·출력과 할당기 설정 비교"]
D --> E["expandable_segments 설정에 따른 잠재값 차이 관측"]
E --> F["PyTorch를 제외한 HSA 재매핑 진단"]
F --> G["같은 GPU 주소 재사용 시 손상<br/>다른 주소 대조에서는 미관측"]
G --> H["같은 커널에서 AMDGPU 경로 비교·추적"]
H --> I["TLB 호출 제거·추가와 지연 대조"]
I --> J["주소 재사용 시 무효화·동기화 경로 관여 근거 확보"]
expandable_segments는 GPU 메모리 할당을 관리하는 방식에 영향을 주는 PyTorch 설정입니다. 설정을 바꾸면 실행 중 할당과 주소 사용 양상도 달라질 수 있으므로, 이 차이는 드라이버를 조사할 단서가 되었습니다. 다만 설정 차이만으로 어느 드라이버 동작이 실패했는지 알 수 없었습니다. 이에 모델 시험과 별도로, 다음 단계에서 주소 재사용 여부를 직접 통제했습니다.
GPU 주소 재사용과 TLB의 관계
GPU 프로그램이 사용하는 가상 주소는 실제 데이터를 저장하는 물리 메모리와 페이지 테이블을 통해 연결됩니다. GPU는 주소 변환을 효율적으로 수행하기 위해 TLB(주소 변환 캐시)를 사용합니다. 할당이 해제되고 같은 가상 주소가 다른 물리 할당에 연결되면, 이후 GPU 작업이 변경된 매핑을 올바르게 볼 수 있도록 드라이버의 페이지 테이블 갱신과 변환 캐시 무효화·동기화가 필요합니다.
flowchart LR
subgraph BEFORE["이전 매핑"]
A["GPU 가상 주소 X"] --> B["물리 할당 A"]
end
subgraph AFTER["해제 후 새 매핑"]
C["같은 GPU 가상 주소 X"] --> D["물리 할당 B"]
end
BEFORE -->|"페이지 테이블 갱신<br/>무효화·동기화"| AFTER
이 도식은 재매핑 시 필요한 관계를 설명합니다. 시험에서 GPU의 물리 TLB 항목을 직접 읽은 것은 아니므로 실제로 어떤 항목이 남았는지까지 보여주는 그림은 아닙니다. HSA 진단에서는 이전 물리 할당의 별칭도 유지해, 새 할당뿐 아니라 이전 할당의 데이터가 바뀌었는지 함께 확인했습니다.
HSA 진단을 통한 주소 재사용 조건 검증
문제의 발생 범위를 분리하기 위해 PyTorch 없이 HSA 재매핑 진단을 실행했습니다. 20MiB 할당을 해제한 뒤 새 할당을 매핑하고, 이전 물리 할당의 별칭과 새 할당의 값을 각각 비교했습니다. 새 할당이 같은 GPU 가상 주소를 재사용하는 경우와 다른 주소를 사용하는 대조군을 나눴습니다.
기본 드라이버의 최근 독립 진단 결과는 다음과 같았습니다.
| 새 할당의 주소 | 이전 할당 불일치 | 새 할당 불일치 |
|---|---|---|
| 같은 주소 재사용 | 19/20회 | 2/20회 |
| 다른 주소 사용 | 0/20회 | 0/20회 |
이 결과는 모델 출력만의 문제가 아니라 주소 재사용과 관련된 메모리 가시성 문제를 보여줍니다. 다만 이 시험만으로 GPU 내부의 물리 TLB 상태를 직접 확인하거나 최초 결함을 단일 코드 줄로 확정할 수는 없습니다.
커널 및 드라이버별 시험 결과
아래 Pass는 해당 시험에서 관측된 결과입니다. HSA는 불일치 바이트가 없는 경우, VAE는 기준 잠재값과 비트 단위로 일치하고 NaN·Inf가 없는 경우를 뜻합니다. 전체 생성은 832×480, 65프레임, 20스텝에서 완료 후 검사한 경계에 NaN·Inf가 없고 PNG 65장의 해시가 비교 기준과 일치한 경우입니다. 모든 중간 텐서를 검사한 것은 아닙니다.
| 환경 | HSA 같은 주소 재사용 | VAE False / True |
전체 생성 True |
|---|---|---|---|
| Ubuntu 기본 7.0 드라이버 | Fail: 이전 19/20회, 새 할당 2/20회 불일치 | False 기준 결과 / True 불일치 관측 |
해당 조건의 성공 미확인 |
| 같은 7.0 + 실험적 TLB 펜스 백포트 | Pass: 이전·새 할당 각 0/20회 불일치 | 각각 10/10회 기준 일치 | 1회 Pass |
| 같은 7.0 + 변경하지 않은 AMDGPU 31.70 시험 모듈 | Pass: 이전·새 할당 각 0/20회 불일치 | 각각 2/2회 기준 일치 | 1회 Pass |
| Ubuntu 메인라인 7.4-rc3 비교 커널 | Pass: 독립 프로세스 3회 합계 각 0/60회 불일치 | 각각 2/2회 기준 일치 | 1회 Pass |
다른 주소를 사용한 HSA 대조군은 각 환경에서 불일치가 없었습니다. 7.4-rc3의 전체 생성 결과는 같은 커널에서 실행한 False 결과와 비교했습니다. 백포트와 31.70의 전체 생성도 각각 한 번의 실행이므로 장기 안정성을 뜻하지 않습니다.
여기서 7.4.0-070400rc3-generic은 Ubuntu 정식 업데이트 커널이 아니라 Ubuntu가 제공하는 상류 Linux 메인라인 시험 빌드입니다. Ubuntu는 메인라인 빌드가 지원 대상이 아니며 보안 업데이트를 받지 않는다고 안내합니다. Linux 7.3.5는 소스만 확인했고 이 GPU에서 시험하지 않았습니다.
TLB 경로 변경에 따른 비교
같은 7.0 커널의 별도 부팅에서 기준 모듈과 31.70을 비교한 뒤, HSA 해제 구간을 추적했습니다. 지정된 진단 스레드와 구간에서 compute TLB 함수 호출은 Ubuntu 기준 모듈에서 관측되지 않았고 31.70에서는 20회 관측됐습니다. 이 차이는 TLB 경로를 개입 시험의 후보로 좁혔지만, 함수 호출 여부만으로 하드웨어 상태를 확정할 수는 없습니다.
이를 검증하기 위해 호출을 추가하거나 제거하고, 단순 지연과 비교하는 실험을 수행했습니다.
- 상류 TLB 펜스 수정을 실험적으로 백포트한 모듈에서는 HSA와 VAE 반복 시험, 전체 생성 1회가 통과했습니다.
- 기본 7.0 소스에 compute TLB 호출만 추가한 별도 실험 모듈에서도 HSA 각 20회와 VAE 설정별 10회가 통과했습니다. 이 최소 개입은 일반적인 비동기 갱신과 여러 XCC 처리가 완성된 운영 패치가 아닙니다.
- 반대로 31.70 시험 모듈의 GEM VA 경로에서 compute TLB 호출을 제거하자, 같은 주소 재사용 시 이전 할당이 19/20회, 새 할당이 3/20회 불일치했습니다. 별도의 VAE 반복 시험에서는
True가 10/10회 기준과 달랐으며 10회 모두 NaN은 없었습니다.False는 10/10회 일치했습니다. 다른 두 차례 VAE 시험 중 한 번에서는 NaN이 관측됐습니다. - 호출 대신 약 170µs 지연만 둔 대조에서도 이전 할당이 15/20회 손상됐습니다. 단순히 기다리는 것으로 같은 효과를 얻지는 못했습니다.
마지막 두 결과는 실험적으로 수정한 31.70의 결과입니다. 변경하지 않은 31.70 시험 모듈의 실패로 해석해서는 안 됩니다.
기본 드라이버의 CPU 페이지 테이블 갱신 경로에는 입력 펜스가 없을 때 TLB 펜스 생성을 건너뛰는 분기가 있고, 실제 실패 구간에서 해당 조건이 관측됐습니다. 위 개입 결과를 종합하면, GPU 주소 재사용 뒤 드라이버의 무효화·동기화 경로가 관여한다는 강한 근거가 됩니다. 그렇더라도 물리 TLB 내부를 직접 판독하지 못했으므로 최초 하드웨어 상태를 확정할 수는 없습니다.
개입 시험으로 확인한 결과
아래 도식은 HSA 같은 주소 재사용 조건에서 이전 할당에 불일치가 발생한 횟수입니다. 각 항목은 별도 부팅에서 수행한 20회 중 횟수이며, 서로 다른 시험 모듈과 실행 조건을 포함합니다.
flowchart LR
subgraph RESULTS["HSA 이전 할당 불일치 · 각 20회"]
direction TB
A["기본 7.0: 19/20"]
B["31.70 정상: 0/20"]
C["31.70 TLB 호출 제거: 19/20"]
D["31.70 호출 대신 170µs 지연: 15/20"]
E["7.0 TLB 펜스 백포트: 0/20"]
end
classDef fail fill:#fce8e6,stroke:#b3261e,color:#42110d
classDef pass fill:#e6f4ea,stroke:#137333,color:#0b3214
class A,C,D fail
class B,E pass
기본 7.0의 19회는 최근 독립 진단 결과이고, 31.70 호출 제거의 19회는 별도 개입 시험 결과입니다. 호출을 제거하면 손상이 돌아왔고, 호출 대신 약 170µs를 기다린 조건에서도 손상이 남았습니다. 반대로 7.0에 TLB 관련 경로를 추가한 실험에서는 손상이 재현되지 않았습니다. 이 결과는 단순한 실행 시간 차이보다 드라이버의 무효화·동기화 경로가 주소 재사용 결과에 관여한다는 해석을 뒷받침합니다. 각 시험은 제한된 반복이며, 물리 TLB 상태나 단일 결함 위치를 직접 증명하지는 않습니다.
운영 대응과 적용 범위
시험 당시 Animate2 워커는 expandable_segments:False를 강제하고 VAE와 추론 경계에서 비유한 값을 검사합니다. 이 설정은 관측된 모델 경로의 우회책입니다. PyTorch가 없는 HSA 진단에서도 문제가 나타났으므로 드라이버 결함 자체를 고친 것으로 볼 수는 없습니다.
변경하지 않은 31.70 시험 모듈은 위 범위에서 통과했지만, 장기 안정성이나 일반 데스크톱 사용은 검증하지 않았습니다. AMD의 ROCm 호환성 표는 Radeon 8060S가 포함된 지원 Ryzen APU에 대해 지원 Ubuntu의 내장 커널 드라이버를 명시합니다. 따라서 격리 시험 결과를 이 장비의 31.70 일반 설치 권고나 AMD 지원 구성으로 해석하지 않았습니다. 기본 시스템 모듈도 교체하지 않았습니다.
정식 커널이나 드라이버가 갱신되면 GPU가 유휴 상태일 때 HSA 재매핑 진단을 다시 수행하고, 실제 모델 입력에 대해 잠재값과 생성 결과를 회귀 시험할 계획입니다. 시험에 통과하더라도 별도 검토 없이 우회 설정을 해제하지는 않습니다.
향후 회귀 검증을 위한 실험 코드
SDPA는 동일한 Q·K·V와 마스크, scale, dtype, shape, stride를 보존하여 기본 경로의 반복 결과와 수학 경로를 비교해야 합니다. 입력과 출력의 유한성, 오차 및 반복 일관성을 함께 확인하며, 계측을 위한 복사와 동기화가 실행 조건을 바꿀 수 있음을 기록합니다. 드라이버나 커널 갱신 이후에는 이 검사와 별도로 동일한 입력과 모델 설정의 VAE 잠재값을 보존하고 기준 결과와 비교할 수 있습니다. 다음 코드는 이미 추출한 두 텐서를 비교하는 예시입니다. reference와 candidate는 같은 형상·자료형을 가진 PyTorch 텐서이며, 모델 실행과 텐서 추출 자체는 포함하지 않습니다.
import torch
def compare_latents(reference: torch.Tensor, candidate: torch.Tensor) -> dict:
"""기준 잠재값과 시험 잠재값의 유한성 및 비트 일치 여부를 확인합니다."""
if reference.shape != candidate.shape or reference.dtype != candidate.dtype:
raise ValueError("잠재값의 형상과 자료형이 같아야 합니다.")
if not reference.is_floating_point():
raise ValueError("부동소수점 잠재값이 필요합니다.")
reference = reference.detach().cpu().contiguous()
candidate = candidate.detach().cpu().contiguous()
finite = torch.isfinite(reference) & torch.isfinite(candidate)
# 바이트 단위 비교로 부호가 있는 0과 NaN 비트 패턴도 구분합니다.
byte_diff = reference.view(torch.uint8) != candidate.view(torch.uint8)
element_diff = byte_diff.reshape(reference.numel(), reference.element_size()).any(dim=1)
return {
"elements": reference.numel(),
"reference_nonfinite": int((~torch.isfinite(reference)).sum()),
"candidate_nonfinite": int((~torch.isfinite(candidate)).sum()),
"different_elements": int(element_diff.sum()),
"both_finite": bool(finite.all()),
}
이 시험의 통과 조건은 두 텐서에 NaN·Inf가 없고 different_elements가 0인 것입니다. 재현 가능한 기준을 마련하려면 입력, 시드, 모델·가중치, 자료형, 소프트웨어 버전과 계측 방법을 함께 기록해야 합니다. 환경에 따라 정상적인 수치 차이도 발생할 수 있으므로, 비트 단위 일치는 동일 조건의 회귀 기준으로 사용하고 서로 다른 구현 간 일반적인 정확도 기준으로 확대하지 않습니다.
expandable_segments 비교는 GPU 초기화 전에 설정하고 각 조건을 별도 프로세스에서 실행해야 합니다. 예를 들어 기존 모델 실행 스크립트를 사용하는 경우 다음과 같이 설정할 수 있습니다. 아래 명령의 run_vae.py는 독자가 준비할 실행 스크립트를 나타내며, 이 글에서 제공하는 완성된 재현 프로그램은 아닙니다.
PYTORCH_ALLOC_CONF=expandable_segments:False python run_vae.py
PYTORCH_ALLOC_CONF=expandable_segments:True python run_vae.py
HSA 재매핑 시험은 이 텐서 비교와 별도로 수행해야 합니다. 동일 GPU 가상 주소 재사용과 다른 주소 사용을 각각 반복하고 이전·새 할당의 불일치 바이트를 확인합니다. 시험은 일반 사용자 권한으로 GPU가 유휴 상태일 때 수행하며, 실행하지 않았거나 결과를 확보하지 못한 조건은 미검증으로 기록합니다. 위 코드는 HSA 진단이나 드라이버 수정을 대신하지 않습니다.
향후 대응 절차
- 운영 설정 유지: 검증 전까지
expandable_segments:False와 VAE·추론 경계의 비유한 값 검사를 유지합니다. 값의 유한성만으로 정확성을 판정하지 않습니다. - 변경 전 기준 확보: 동일 입력과 시드의 잠재값 및 출력, 커널·드라이버·ROCm·PyTorch 버전을 기록합니다. 계측 방식도 비교 조건에 포함합니다.
- 변경 후 단계별 검증: 보존한 유한 Q·K·V로 기본 SDPA의 반복 결과와 수학 경로를 비교합니다. 별도로 GPU가 유휴 상태일 때 HSA의 주소 재사용과 대조 조건을 검사하고, 모델별 잠재값 비교와 전체 생성 회귀 시험을 수행합니다. 반복 횟수와 실패·미검증 범위를 함께 기록합니다.
- 적용 여부 검토: 드라이버의 공식 지원 범위와 운영 안정성을 별도로 확인합니다. 제한된 회귀 시험의 통과만으로 우회 설정을 해제하거나 실험 모듈을 운영에 적용하지 않습니다.
추가 관측과 분석 범위
장시간 생성 중 그래픽 큐 timeout과 GNOME 세션 종료도 관측됐습니다. 화면 종료와 HSA 재매핑 손상이 같은 원인인지도 확인되지 않았습니다. 함께 발생한 현상이라도 독립적으로 재현하고 비교할 필요가 있습니다.
이번 조사는 모델 결과, 메모리 할당기, 드라이버 경로를 각각 분리하여 문제의 범위를 분석했습니다. 동일 입력의 기준값과 주소 재사용 대조군을 확보하고 특정 경로의 추가·제거에 따른 결과를 비교함으로써, 관측된 현상과 가능한 원인 사이의 근거를 구체화했습니다.
홈으로 가기