⏱ 1 min read

셰이더 NaN 가드

normalize·rcp·atan2의 0벡터/0값 NaN 전파를 일관 패턴으로 방어해 모바일 검은 화면 이슈 차단

Problem

모바일 GPU에서 normalize(), rcp(), atan2() 등 수학 함수에 0 벡터·0 값이 들어가면 NaN이 발생하고, 한 번 발생한 NaN은 프레임 전체로 전파되어 검은 화면·렌더링 깨짐을 유발한다. NaN 발생 위험 케이스: 1. 카메라가 오브젝트 내부에 진입 → viewDir이 0에 수렴 2. 보간 과정에서 노멀이 0 벡터화 3. 빌보드 계산에서 forward·right 벡터가 평행해지는 극단 케이스 4. 포스트프로세싱 왜곡 함수의 화면 중앙 픽셀(ru ≈ 0) 처리 기존 셰이더에는 이런 경계 조건 방어 코드가 없거나 일관성이 없었다.

Approach

셰이더 레벨 일관 NaN 가드

Chosen

Pros

입력과 무관하게 안전, 한 곳 수정으로 광역 적용

Cons

일부 함수에 분기·연산 추가

머티리얼·런타임 입력값 검증 강화

Pros

셰이더 수정 없음

Cons

입력 경로가 다양해 전수 방어 어려움, 근본 해결 불가

Why 셰이더 레벨 일관 NaN 가드: 셰이더 입력은 머티리얼·VFX·런타임 등 다양한 경로로 들어와 외부 검증만으로는 전수 방어가 어렵다. 셰이더 자체가 0 입력에도 안전하게 동작하도록 만드는 것이 근본 해결책.

Implementation

01
Step 1 — 일관 가드 패턴 정의
- 정밀도별 통일: 1e-6h (half) / 1e-6 (float)
- 컨텍스트별 fallback: 방향 (0,0,1), 각도 0.5 등
- // NaN 가드 주석으로 의도 명시

Architecture

[Before] 각 셰이더 인라인 NaN 가드 (~40줄 중복) [After] Common.hlsl ├─ SafeNormalize(half3 v, half3 fallback) ← inline 컴파일 └─ SafeNormalize(float3 v, float3 fallback) │ └─ 8개 셰이더에서 한 줄 호출 향후 임계값·fallback 정책 변경이 한 곳에서 가능.

SafeNormalize 정의:

inline half3 SafeNormalize(half3 v, half3 fallback) { half lenSq = dot(v, v); return lenSq > 1e-6h ? v * rsqrt(lenSq) : fallback; }

Tradeoffs & Future Work

Tradeoffs

Vertex shader 가드는 vertex 수가 적어 비용 무시 가능. Fragment shader는 rcp(max(...)) ALU 패턴으로 통일해 실제 분기를 피하도록 했다.
초기 구현의 if (ru > 1e-6) 전체 감싸기는 fragment 단위 분기 + 화면 중앙 픽셀 동작 회귀 두 문제를 동시에 유발 — Critical 리뷰 항목으로 분류해 우선 수정.
임계값 1e-6은 일반 모바일 환경 기준. 극단적 소형 스케일 오브젝트 추가 시 튜닝 필요.