바이노럴 음원 분리

키워드

확장요약문

바이노럴 음성 분리는 양이 신호에 포함된 공간 단서를 활용하여 혼합된 음원으로부터 개별 화자의 음성을 분리하는 기술이다. 기존 딥러닝 기반 분리 모델은 주로 사전에 정해진 화자 수에 대응하는 고정 출력 구조를 사용한다. 한편, 일반적인 다채널 음원 분리 분야에서는 다양한 음향 객체를 개별적으로 분리하기 위한 객체 중심 접근법이 연구되고 있다. 대표적으로 DeepASA는 다채널 마이크 입력으로부터 추출한 특징을 2차원 합성곱 기반 객체 분리 모듈을 통해 음원별로 특징을 분리한다. 그러나 이러한 구조는 출력 가능한 음원 수가 사전에 설정한 최대 개수로 제한되므로, 다양한 음원 수에 유연하게 대응하기 어렵다는 한계가 있다. 본 연구에서는 이러한 고정 출력 구조의 한계를 극복하기 위해 슬롯 어텐션 기반 바이노럴 음성 분리 방법을 제안한다. 제안하는 방법은 음성 신호가 가산적으로 중첩되는 특성에 착안하여, 혼합 음성의 시간-주파수 특징에 슬롯 간 Softmax를 적용함으로써 각 슬롯이 특징을 경쟁적으로 할당받도록 한다. 이후 GRU 기반의 반복적인 슬롯 갱신을 통해 화자별 표현을 형성하도록 한다. 실험 결과, 제안한 슬롯 어텐션 기반 구조는 학습 시 관측한 2~3화자 조건에서 기존 합성곱 기반 객체 분리 모듈보다 우수한 음성 분리 성능을 보였다. 또한 슬롯 어텐션은 학습 가능한 확률분포로부터 슬롯 쿼리 벡터를 무작위 초기화하므로, 추론 시 슬롯 개수를 유연하게 확장할 수 있다는 장점이 있다. 그러나 학습 범위를 초과하여 슬롯 수를 증가시킬 경우, 여러 슬롯이 동일하거나 유사한 특징에 집중하면서 개별 화자를 독립적으로 분리하기보다 동일 화자의 음성 에너지를 여러 슬롯에 분산하여 출력하는 경향이 관찰되었다. 이러한 한계에도 불구하고, 제안한 방법은 기존 합성곱 기반 모듈 대비 향상된 음성 분리 성능과 출력 화자 수의 구조적 확장 가능성을 동시에 보여주었다. 이는 슬롯 어텐션이 고정 출력 구조를 대체할 수 있는 효과적인 대안임을 시사하며, 향후 슬롯 간 중복 할당 문제를 완화함으로써 다양한 화자 수에 대한 일반화 성능을 더욱 개선할 가능성을 제시한다.