Advancing Automatic Audio Panning: Dynamic Performer Spatial Mapping and Real-Time Implementation

키워드

확장요약문

본 연구는 자동 오디오 패닝 기술의 고도화를 목표로 한다. 오디오 패닝은 음원의 공간적 위치를 제어하는 디지털 신호 처리 기술로, 기존 멀티미디어 제작 환경에서는 숙련된 오디오 엔지니어의 수작업에 크게 의존한다. 특히 영상 내 객체의 움직임과 공간적 위치를 시각적으로 판단하여 패닝에 반영하는 과정은 많은 시간과 노력을 요구하며, 작업자의 주관적 판단에 따라 결과가 달라질 수 있다. 또한 이러한 수작업 방식은 객체의 공간 좌표에 대한 정량적 정확도를 보장하기 어렵다는 한계가 있다.

이러한 한계를 해결하기 위해 본 연구에서는 컴퓨터 비전 기반의 객체 추적과 단안 깊이(Monocular Depth) 정보를 활용한 자동 오디오 패닝 시스템을 제안한다. 특히 단일 카메라로 촬영한 정면 영상에서 프레임별 깊이 정보를 활용하여 객체의 상면 공간 좌표(X, Z)를 추정하는 자체 시점 변환 알고리즘을 개발했다. 제안 알고리즘은 전면 뷰를 투사하는 카메라의 다양한 피치(pitch) 각도에 대응할 수 있으며, 영상 내의 객체당 평균 1ms 미만의 처리 시간을 기록하여 실시간 기술 적용 가능성을 입증했다. 또한 Open Sound Control(OSC)을 활용하여 상용 Digital Audio Workstation(DAW) 및 현업에서 사용되는 공간음향 엔진과의 실시간 연동 가능성을 검증함으로써, OSC를 지원하는 외부 오디오 시스템으로의 확장 가능성을 확보했다.

제안하는 시스템의 객관적 성능 검증을 위해 Unity 기반 가상환경과 실제 촬영 환경에서 영상 및 공간 좌표 데이터를 수집하여 평가 데이터셋을 구축했다. 단일 및 다중 공연자의 선형·비선형 이동 동선에 대한 공간 추정 성능을 평가하기 위해 정규화된 평균제곱근오차(N-RMSE)와 거리상관계수(dCor)를 활용했으며, 실제 공간 좌표(Ground Truth)와 추정 좌표 간의 비교 결과를 Table 1에 제시했다. 평가 결과, 제안 시스템은 단일 및 다중 공연자 환경에서 안정적인 공간 좌표 추정 성능을 보였으며, 실제 좌표와 예측 좌표 간 높은 통계적 의존성을 통해 선형 및 비선형적 공간적 변화 양상에 대한 강한 대응 관계를 확인했다.