[뉴미연 탐방] 휴먼페이스연구실

휴먼인터페이스연구실은 1998년에 설립되어, 현재 박사과정 11명, 석사과정 5명이 김남수 교수님 지도 아래 연구를 수행하고 있다. 음성신호처리 분야의 다양한 연구들을 진행하고 있으며, 최근에는 기계 학습을 활용한 음성/음향 분야의 연구에 중점을 두고 있다. 현재까지 76편의 국제 저널 논문, 70편의 국제 학회 논문을 비롯해 국내외에 걸친 연구 성과를 내고 있으며 47건의 국내외 특허를 가지고 있다.

휴먼인터페이스연구실에서 진행 하고 있는 연구분야는 음성과 음향에 관련된 연구들로 음성 인식, 음성 합성, 음성 향상, 음성 코딩, 실감 음향 등으로 나눌 수 있다. 음성 인식 관련 연구는 다양한 deep learning 기법을 음향 모델에 활용하는 연구, interacting multiple model 특징 보상기법을 통한 잡음 환경에 강인한 음성인식 연구 등이 활발히 진행 되고 있다. 음성 합성의 연구는 다양한 machine learning 기법을 활용한 음향 모델 연구, 화자 적응 음성 합성, singing voice 합성 등 다양한 합성 기법에 대한 연구들이 활발히 진행 되고 있다. 음성 향상 연구에서는 잡음과 반향 제거를 목표로 nonnegative matrix factorization을 활용한 잡음 제거, DNN을 활용한 반향 제거, 다중 스피커 환경에서의 잡음 제거에 대한 연구들이 진행 되고 있다. 뿐만 아니라, post-filtering, bandwidth extension 등과 같은 음질 개선에 대한 연구도 진행 되고 있다. 음성 코딩에 관한 연구로는 양방향 음성 통신을 위한 최적화 기법에 대한 연구, evolutionary algorithm을 통한 코드북 트레이닝 등과 같은 연구가 진행되고 있다. 음향 연구 분야에서는 콘서트장의 Room impulse response 와 헤드폰의 head related transfer functions 측정을 통한 실감음향 오케스트라 구현, 스피커 사전보상 등과 같은 주제로 연구의 영역을 확장하고 있다. 또한 기계 학습의 적용을 통해 음악으로부터 장르나 다른 음악적 정보를 추출하는 music information retrieval에 대한 연구도 진행 중이다. 이 밖에도 audio event detection, source localization 등과 같은 음향 정보를 활용한 흥미로운 연구들이 진행되고 있다.

 

Feature compensation을 통한 Automatic speech recognition의 도식

[그림 1] Feature compensation을 통한 Automatic speech recognition의 도식

음성 향상을 통한 잡음 제거

[그림 2] 음성 향상을 통한 잡음 제거

반향 제거 알고리즘

[그림 3] 반향 제거 알고리즘

실감음향 오케스트라 구현을 위한 무향실 녹음

[그림 4] 실감음향 오케스트라 구현을 위한 무향실 녹음