자기지도학습 모델의 층별 표현 선택을 통한 생성형 음성 소음 제거

키워드

확장요약문

생성형 음성 소음 제거는 Flow matching 등의 방식을 활용해 음성에 담긴 소음을 제거하는 기술로, 소음 제거의 결과가 청취 음질(perceptual quality)이 높다는 점에서 최근에 연구가 활발히 이루어지고 있다. 기존 연구는 손실 함수 등의 변경이나 모델 구조의 변경을 통하여 성능 향상을 꾀하는 방식으로 이루어져 왔다.

방대한 데이터를 바탕으로 한 자기 지도학습(Self-supervised learning (SSL)) 음성 인공지능 모델은 신경망 기반 음성 인식, 화자 인식 등 다양한 분야에서 널리 활용되어 왔다. 음성 소음 제거 분야에서 활용되는 SSL 모델은 손실 함수로써 활용되거나, 표현 자체를 소음 제거 모델의 조건부 입력으로 이용하는 식이었다. 다만 음성 소음 제거를 위해 SSL 모델 내에서 어떤 층의 표현을 활용하는 것이 이로울지에 대한 연구는 아직 이루어지지 않았다. 본 연구는 선형 탐색(Linear probing)을 활용해 SSL 모델의 층별(layer-wise) 분석을 수행하고, 해당 분석 결과를 바탕으로 SSL 모델의 어떤 층의 표현을 소음 제거 모델의 조건부 입력으로 사용할지 결정한다. 이후 SSL 모델 층 표현을 조건부 입력으로 한 소음 제거 모델 학습 결과를 바탕으로 분석 결과를 재해석하여 어떤 층의 표현을 활용하는 것이 유리할지 분석적이고도 실증적인 해석을 낸다.

선형 탐색 분석은 SSL 모델이 소음이 있는 상황에서도 음성의 특성을 잘 파악할 수 있는지를 파악하기 위함이다. SSL 모델로는 얼린 WavLM-large와 소음이 추가된 음성을 활용한다. 각 층 출력마다 하나의 선형 층을 추가해 음성의 음향적인 특성인 F0를 예측하게 한다. Figure 1은 깨끗한 음성 탐색 결과와 소음 존재 음성 탐색 결과의 차이를 나타낸 것이다. 초기 층과 후기 층이 소음에 대해 강건함을 보이고 중기 층이 예민함을 보인다. 이에 SOTA 성능의 생성형 소음 제거 백본인 FlowSE의 병목에 가장 강건한 0번 층과 가장 예민한 8번 층을 조건부 입력으로 넣어 학습하였다. 선형 탐색 분석과 소음 제거 학습을 위한 음성 데이터로는 LibriTTS-R을, 소음 데이터로는 DNS challenge를 활용하였다. 학습 데이터는 Table 1은 그 결과로, 소음에 가장 강건했던 0번 층을 활용한 모델의 성능이 가장 우수했다. 따라서 0번 층을 조건부 입력으로 활용하는 게 소음에 가장 강건하므로 유리하다는 결론을 얻을 수 있었다. 이로서 본 연구는 자기지도학습 표현을 생성형 음성 소음 제거에 활용할 때 어떤 특성이 있는 층 표현을 활용해야 하는지에 대한 분석적이고 실증적인 발견을 시사한다.