다중 스케일 텐서 패킹을 통한 위상기반 모션 증폭의 GPU 연산 최적화

키워드

확장요약문

전통적인 기존 계측 센서의 공간적·비용적 제약을 극복할 수 있는 방안으로써, 위상 기반 모션 증폭 (Phase-based Motion Magnification, PMM)을 통해 영상 내 미세한 움직임을 시각적으로 확대하여 측정하는 영상 기반 분석 기법이 연구되고 있다. Complex Steerable Pyramid(CSP)는 공간 주파수 대역별로 위상 변화를 분해·분석함으로써 서브픽셀 수준의 미소 변위를 증폭할 수 있어 널리 활용되고 있으나, 높은 연산량으로 인해 처리 속도가 제한되는 한계가 있다. 기존의 CSP 주파수 대역 레벨별 필터 응답을 합치는 과정은, 각 응답을 한 차례 더 푸리에 변환하여 주파수 공간상에서 필터 응답 결과들을 겹치고 최종결과를 역푸리에변환하는 과정을 거친다. 또한, 레벨에 따라 처리하는 이미지의 크기가 상이하여 각 레벨별 연산을 하나의 데이터로 묶어 병렬로 수행하기 어려우며, 레벨별 연산을 순차적으로 순회하는 과정에서 추가적인 시간이 소요된다. 본 연구에서는 이러한 연산 구조를 개선하기 위해 각 레벨의 필터 응답을 영상의 높이, 너비, 레벨 수로 구성된 3차원 형태의 배치 텐서(batched tensor)로 계산하는 방식을 적용하였다. 이를 통해 레벨 별로 수행되던 연산을 일괄 처리하도록 구성하고, GPU와 같은 병렬 처리 환경에서 기존 방식과의 처리 시간을 비교하였다. 배치 연산의 시간복잡도 특성을 고려하여 비교한 결과, 두 방식의 처리 시간이 교차하는 지점(cross-point) 이내의 연산 범위에서는 제안된 방식이 기존의 레벨별 순회 방식보다 유리함을 확인하였다. 이를 통해 CSP의 필터 응답을 배치 텐서로 구성하는 것이 일정 연산 범위에서 모션 증폭의 처리 속도를 향상하는 데 기여할 수 있음을 확인하였다.