[Digital Image Processing] 06. Frame Processing

해당 글은 건국대학교 김은이 교수님의 디지털 영상 처리 수업 내용을 정리한 글입니다. 

 

Frame Process

 

Frame processing은 두 개 이상의 서로 다른 이미지를 포함하는 연산을 통해 새로운 픽셀 값을 생성하는 과정입니다. 출력 픽셀은 입력 이미지들의 동일한 위치(same position)에 있는 픽셀들과 대응됩니다. 이때 사용하는 연산으로는 덧셈(addition), 뺄셈(subtraction), AND/OR 논리 연산, 평균화(averaging)이 있습니다. 참고로, point, area, frame processing은 같은 위치에 대해 연산을 수행하지만, geometric processing은 다른 위치에 대해 결과가 대응됩니다.

 

Addition

 

두 개의 옛 이미지를 더하여 새로운 이미지를 생성하는 기술입니다:

수식

 

여기서 alpha는 가중치이며, 이를 통해 오버플로우(overflow)를 방지하고 한 이미지가 다른 이미지를 얼마나 지배할지 결정합니다. 이 기술은 Image Wraping(와핑)과 Morphing(모핑)에 사용됩니다. 아래는 addition의 예시입니다:

ex

 

Image Morphing

 

이는 한 객체를 시각적으로 다른 객체로 변환하는 기술입니다. Image warping을 통해 모양(shape)을 변환하고, Cross-dissolve를 통해 색상(color)을 부드럽게 섞습니다:

Image Morphing

 

Cross-dissolving(blending)

 

warping된 이미지를 가중 평균(weighted average)을 이용하여 최종 이미지와 부드럽게 섞는 과정입니다. morphing의 진행도에 따라 가중치(t)를 0.0에서 1.0까지 변화시키며 pixel = (1-t)A + tB 와 같이 선형 보간합니다:

ex

 

Image Warping

 

입력 이미지를 특정 규칙에 따라 re-sampling하여 이미지를 여러 방향으로 늘리거나 비트는 기술입니다. 과거 NASA에서 위성 사진의 왜곡을 펴기 위해 사용했으며, 고무판(rubber sheet)를 당기는 것에 비유할 수 있습니다. 이는 이미지 위에 그물망(Mesh)을 씌워 기하학적 변환을 수행합니다. 시작 그물망(Starting Mesh)과 최종 그물망(Final Mesh) 사이의 중간 프레임(Intermediate frames) 위치를 선형 보간하여 계산합니다:

Image Warping

 

Subtraction

 

두 이미지 간의 차이(differences)를 결정하는 연산입니다. 이는

 

1) 변화/움직임 감지: 보안 시스템 증에서 배경과 현재 영상의 차이를 구할 때 사용합니다.

2) 검사: 이상적인 제품 이미지와 실제 제품 이미지의 차이를 구해 결함을 찾습니다.

3) 노이즈 제거: 노이즈의 패턴을 미리 알고 있다면, 원본 영상에서 노이즈 패턴을 빼서 깨끗한 영상을 얻을 수 있습니다.

ex

 

AND/OR

 

AND는 입력 이미지의 특정 부분을 제거(remove)할 때 사용합니다(masking). 한편, OR은 입력 이미지에 특정 부분을 추가(add)할 때 사용합니다:

ex

 

Average

 

두 개 이상의 픽셀 값을 더한 후 개수로 나누는 연산입니다. 이는 영상 전송 중 발생한 노이즈(noise)를 제거하거나(이때 같은 위치에서만 발생하는 노이즈가 있다면 이는 averaging으로도 지워지지 않습니다), 비디오 감시에서 도로 색상(배경) 추정 및 영화의 깜빡임을 제거할 때 사용할 수 있습니다:

ex. 해당 영상들을 모두 averaging한다면 도로(배경)에 대한 이미지만을 추출할 수 있습니다.

 

Motion Detection

 

motion detection은 인간의 시각, 물체 감지 및 추적(tracking), 행동 분석 등에 필수적입니다. 가장 간단한 방법은 움직이는 영역에서 변하지 않는 배경을 지거하는 것입니다. 이를 이미지 차분(image subtraction)이라고 합니다. 처리 단계는 다음과 같습니다:

 

1) Image subtraction: 움직임을 감지하기 위해 영상을 뺍니다. 차이가 임계값보다 크면 motion이라고 감지할 수 있습니다. 하지만 조명의 변화와 같은 다양한 원인으로 인해 단순 차이로는 판단하지 않고 다양한 처리가 필요합니다.

 

2) Connected Component Labeling: 변화된 픽셀들을 하나의 덩어리(객체)로 라벨링합니다.

 

3) Post-processing: 작은 영역(tracking)이나 관심 없는 특징을 가진 영역은 버립니다. 그 후 feature 모양의 structural element를 사용하여 morphological processing을 수행하여 관심있는 영역을 강조합니다.

 

4) Tracking: 감지된 객체를 추적합니다.

 

다음은 실제 알고리즘입니다:

ex