공간음향 탐지 및 분리, 분류를 위한 데이터셋 및 인공지능 모델 구축

키워드

확장요약문

복합 음향 환경을 이해하려면 중첩된 음원을 분리하고 소리의 종류, 발생 시점 및 방향을 함께 추정해야 한다. 본 발표에서는 이를 위한 ASA2 데이터셋과 DeepASA 모델을 소개하고, 음성과 환경음의 통합 이해 능력을 평가하는 SSEU- Bench를 함께 다룬다.

ASA2(Auditory Scene Analysis 2)는 이동 음원이 포함된 복합 음향 장면을 모사한 다채널 데이터셋이다. 13 개 음향 클래스에서 선택한 2~5 개의 전경 음원과 확산 배경 소음이 혼합되며, 동일 클래스 음원의 중첩과 음원의 시작·종료 정보를 포함한다. 신호는 16 kHz, 4초 길이로 구성되어 있으며, 반지름 4.2 cm의 정사면체형 4채널 마이크로폰 배열을 사용하여 음원 이동, 잔향시간 0.2~0.6초 및 신호대잡음비 6~30 dB의 조건에서 시뮬레이션 된다. 음원별 직접음·잔향 신호와 클래스, 활성 구간 및 방향 정답을 제공하여 분리와 공간음향 탐지·분류를 공동으로 학습하고 평가할 수 있다.

DeepASA 는 혼합 신호의 특징을 음원별 객체 표현으로 분리하고, 각 객체에서 다채널 파형, 음향 이벤트 및 도래 방향을 추정하는 다목적 모델이다[1]. 객체 지향형 모델로, 각 음원 객체의 표현을 먼저 분리하여 이로부터 파형·이벤트·방향 정보를 음원별로 일관되게 추정한다. 또한 탐지 결과와 방향 추정 결과의 시간적 일관성을 이용하는 연쇄 추론(chain-of-inference)을 통해 객체 특징을 정제한다.

SSEU-Bench(Speech, Scene and Events Understanding Benchmark)는 음성·음향 장면·이벤트를 함께 이해하는 거대 오디오 언어 모델의 평가를 목적으로 하는 벤치마크 데이터셋이다[2]. VCTK 음성과 DESED 및 MAESTRO-Real 환경음을 혼합하며, 6 개 장면과 18 개 비음성 이벤트 클래스로 구성되어 있다. 혼합 과정은 단일채널 44.1 kHz 에서 수행하며, −10~10 dB의 다섯 혼합 조건과 음성 또는 배경음만 존재하는 두 조건을 포함하여 총 21.72시간의 데이터를 제공한다. 음성 인식, 음향 장면 분류 및 오디오 태깅을 각각 수행하는 독립 이해와, 세 과제를 한 번에 수행하는 통합 이해 태스크를 지원한다. ASA2 의 음원별 신호·공간 정보 추정과 SSEU-Bench 의 의미적 이해 평가는 복합 음향 분석 연구에 상호 보완적인 기반을 제공한다.