VONV: VSR 품질 보장과 열 제한 영향 완화를 위한 NR-VMAF 기반 성능 최적화

초록

On-Device VSR(Video Super Resolution)은 높은 연산 부하로 인해 발열과 성능 저하 문제가 발생한다. 이를해결하기 위한 동적 VSR에서는 단순한 성능 유지뿐 아니라 영상 품질까지 함께 고려한 균형 잡힌 접근이 필요하다. 본 연구에서는 검증된 품질 평가 지표인 VMAF(Video Multimethod Assessment Fusion)를 예측하는NR(No-Reference)-VMAF를 활용하여 프레임별로 DNN 기반 SR과 bicubic 보간을 선택적으로 적용함으로써 열제한의 영향을 완화하며 일정한 품질을 유지하는 동적 VSR 기법인 VONV(VSR Optimization with NR-VMAF) 를 제안한다. VONV에서 예측한 NR-VMAF는 실제 FR(Full-Reference)-VMAF와 오차가 2점 이내로 높은 정확도를 보이며 품질 예측의 신뢰성이 검증되었다. 또한 성능 차이가 명확한 두 기기에서 VONV의 성능 최적화 효과를 확인하였을 때 두 기기 모두에서 열 제한 발생 시점을 약 3배 지연시키고 전체 추론 시간을 최소 1.4배에서최대 4배까지 단축하였다. 이는 VONV가 VMAF 예측을 활용하여 모바일 환경에서 품질과 성능의 최적화를 달성하는 효과적인 VSR개선 방법임을 의미한다.

키워드