목표 음성 추출을 위한 센트로이드 공간 매핑 기반 간섭 화자 단서 추정

키워드

확장요약문

목표 음성 추출은 혼합 음성에서 등록 음성과 같은 보조 정보를 이용해 원하는 화자의 음성을 추출하는 기술이다. 기존의 임베딩 기반 추출 기법은 주로 목표 화자의 정보만으로 추출 모델을 조건화하지만, 간섭 화자에 대한 정보 또한 억제해야 할 화자를 명시하는 유용한 단서로 활용될 수 있다. 그러나 실제 추론 환경에서는 간섭 화자의 등록 음성을 확보하기 어렵다. 본 연구에서는 화자 임베딩의 센트로이드 공간을 분석하여, 혼합 음성 임베딩 센트로이드가 구성 화자들의 임베딩 센트로이드들의 SIR (Signal-to- Interference Ratio) 의존적 보간 결합으로 표현됨을 확인하였다. 최적 보간 가중치는 SIR 기준 0 dB에서 0.5로 수렴했으며, SIR이 커질수록 우세 화자 쪽으로 이동했다. 또한 이 관계는 센트로이드를 구성하는 샘플 수 N이 많을수록 뚜렷하게 나타난 반면, 단일 발화 임베딩에서는 안정적으로 성립하지 않았다. 이를 추론에 활용하기 위해 본 연구는 센트로이드 공간 매퍼 (Centroid-Space Mapper, CSM)를 사용하여 목표 화자의 등록 음성과 혼합 음성으로부터 각 센트로이드 공간 표현을 추정하고, 중점 관계를 적용해 간섭 화자 표현을 계산하여 목표 화자 임베딩과 함께 추출 모델에 입력한다 (Fig. 1). 이를 통해 별도의 간섭 화자 등록 음성 없이 간섭 화자 정보를 활용할 수 있다. 제안한 방법은 Libri2Mix에서 SI-SDRi 16.18 dB와 추출 정확도 97.1%를 달성했으며, 목표 화자 정보만을 사용하는 baseline 대비 SI-SDRi가 1.37 dB 향상되었다. 이는 화자당 10개의 샘플로 구성한 oracle 센트로이드 근사 (16.09 dB)보다 우수한 수준이다 (Table 1). 또한 Oracle 근사의 성능이 N의 크기에 비례하여 향상되어, 센트로이드 추정 정확도 향상과 SIR 의존적 가중치 적용을 통한 추가적인 향상 가능성을 확인하였다.