영상 잡음제거 알고리즘 개발 동향

조남익 교수

조남익 교수

최근 디지털 카메라의 발달로 영상처리 분야에서는 고해상도 영상을 처리하는 기술에 대한 관심이 날로 증대되고 있다. 특히 스마트폰에 탑재된 카메라의 성능이 갈수록 높아지고 있어서 일반 사용자들도 고해상도 영상처리에 관심이 많아지고 있다. 그런데 영상 센서에서 잡음이 발생하는 것은 피할 수 없으며, 특히 고해상도 영상이나 저조도 환경에서 영상을 취득할 때 이러한 잡음이 더 심해지는 경향이 있다. 따라서 특정 하드웨어에 의존하지 않는 소프트웨어 기반의 영상 잡음제거 기술은 그 어느 때보다 중요하다고 하겠다.

 최근까지 개발된 영상 잡음제거 기술들 중 백색 가우시언 잡음 (pseudo white Gaussian noise)에 대하여 가장 좋은 PSNR (Peak Signal to Noise Ratio) 수치를 보여주는 방법은 BM3D (Block Matching 3-D transform Collabortive Filtering) 알고리즘인데, 이는 기존의 픽셀 공간에서 영상을 패치 단위로 처리하는 잡음제거 방법들과는 달리 비슷한 특징을 가진 패치들을 찾아 패치 그룹을 형성하고, 각 그룹별로 변환영역에서 잡음을 제거한다. 그러나 이 기술은 실험을 위하여 컴퓨터에서 발생시킨 정규분포의 pseudo noise는 잘 제거하지만, 실제 영상센서에서 발생하는 잡음에 대해서는 잡음제거 성능이 다른 방법들에 비하여 시각적으로 그다지 뚜렷하게 좋지는 않은 것으로 보인다. 그 이유는 실제 영상에 존재하는 잡음의 특성이 백색 가우시언 잡음과는 특성이 다르기 때문인 것으로 보인다. 이러한 문제점을 극복하기 위해서 최근에 학습에 기반을 둔 영상 잡음제거 방법이 제안되고 있다. 즉 영상을 기하학적으로 유사한 패치 단위로 클러스터링 하여 각 클러스터마다 잡음제거 필터에서 필요한 변수들을 국부적으로 계산하여 잡음제거 성능을 향상시키는 방법이다. 이 방법의 프로세스를 정리하면 그림과 같으며, 전체적인 과정을 요약하면 입력영상에서 국부적으로 잡음의 특성을 파악하여 이를 잡음제거에 이용하는 것이다. 여기서 잡음의 특성을 알기 위해서 영상을 웨이블릿 변환으로 부대역으로 분리하고, 각 부대역 단위로 측정된 잡음의 특성값을 이용하여 다시 국부적 패치 단위로 잡음의 특징값을 구하여 이를 잡음제거에 이용한다. 종래에는 영상의 부대역 중 고주파대역에서만 잡음의 특성값을 구하였는데 실제 영상에서는 다양한 특징을 가진 잡음이 존재하기 때문에 각 부대역마다 존재하는 잡음의 특성값을 추정한다.

 

2013년 6월 최신연구동향

[영상의 잡음 특성을 파악하여 잡음을 제거하는 과정]

   이상에서 백색 가우시언 잡음에 대하여 가장 좋은 성능을 보이는 BM3D 알고리즘과 실제 영상에 적용하기 위해서 노이즈 특징값을 추정하는 방법에 대해서 언급하였다. 특히 실제 영상에 존재하는 잡음은 단일 특성을 갖는 잡음이라기 보다는, 복합특성 잡음으로 이루어져 있기 때문에 특정 잡음 모델에 기반하기 보다는 전체 특징값들의 분석을 통해 잡음의 복합 특성을 추정하는 것이 올바른 방법이라 생각된다. 그리고 이러한 방법들이 대부분 각 채널영상 (컬러 영상의 경우 R, G, B 채널)에 독립적으로 적용되고 있으며, 채널 간의 상관관계를 이용하는 연구가 상대적으로 부족한 실정이다. 구체적으로, RGB 각 채널은 서로 상관도가 높은 특성을 갖고 있기 때문에 채널간의 교차 상관도를 추정하여 잡음제거 성능을 높이는 방향의 연구가 활발히 진행될 것이다.  @ NewMedia  Newsletter 201306


 서울대학교 전기정보공학부 조남익 교수