[clearfix]
Image Interpolation
1. 개요
주변 픽셀 값을 기반으로 이미지의 새 픽셀 값을 추정하는 방법론. 가장 많이 쓰이는 곳은 이미지의 픽셀 늘려서 이미지의 크기를 키우는 거나 해상도를 향상시키는 것이지만, 곡면의 가장자리를 매끄럽게 하거나 새로운 개체를 집어넣는 등의 일에도 널리 이용되는 기술이다.2. 상세
상술한 바와 같이, 이미지 보간은 주변 픽셀의 값을 기반으로 수학적 알고리즘을 이용하여 새 픽셀의 값을 추정한다. 그 목표는 수가 적거나 간격이 불규칙한 픽셀 세트에서 매끄러운 고품질 이미지를 만드는 것에 있으며, 이 보간에 사용되는 알고리즘은 선형 보간, 3차 보간 또는 스플라인 보간과 같은 다양한 방법을 이용한다. 각 보간 방법의 선택은 특정 응용 프로그램과 원하는 정확도 수준에 따라 사용자가 적절하게 선택해야 한다.현대에 이르러서 그래픽 카드가 발전하게 되면서 수천에서 수만 단위의 병렬 연산을 처리하는 것이 가능해져 보간법은 점점 더 빠르고 정교해져 가고 있다. 특히, 머신러닝과 딥러닝 기술을 통해 기존의 이미지들을 대량으로 학습한 경우에는 단순한 보간을 넘어 이미지 픽셀의 창조의 영역에까지 이른 보간이 가능하다.
3. 보간 방법
이미지 보간은 주변 픽셀의 값을 기반으로 수학적인 보간법을 사용하여 새 픽셀의 값을 추정하는 방식으로 작동한다. 이 수학적 보간법을 얼마나 복잡하고 정밀한 것을 쓰느냐에 따라 그 결과의 품질이 크게 달라진다.3.1. 최단입점 보간(Nearest-neighbor interpolation)
단순히 가장 가까운 픽셀의 값을 새 픽셀에 할당하는 것. 그림판 등 래스터 기반 이미지 처리툴에서 그냥 이미지를 크게 쭉 늘려놓는 것을 생각하면 된다. 설명만큼 굉장히 간단하고 빠른 방법이지만, 알다시피 이미지의 퀄리티를 매우 떨어트린다는 단점이 있다.3.2. 쌍선형 보간(Bilinear interpolation)
가장 가까운 픽셀의 가중 평균을 통해 새 픽셀의 값을 할당하는 것. 예컨대, 2와 10 사이에 3자리가 있으면 순서대로 4, 6, 8을 끼워넣는 것을 생각하면 된다. 이미지란 일반적으로 2차원이기 때문에 가장 가까운 4개의 픽셀값과 그 거리를 이용하는 경우가 일반적이며, 계산이 발생하긴 하지만 계산 방법이 매우 간단하기 때문에 간단하고 빠른 방법이다. 물론 보간 결과의 퀄리티는 여전히 매우 낮은 편.3.3. 쌍입방 보간(Bicubic interpolation)
16개의 가장 가까운 인접 픽셀의 가중 평균을 취하여 각 새 픽셀의 값을 추정하는 방법. 가중치는 새 픽셀과 주변 픽셀 사이의 거리를 기준으로 결정되며 가까운 픽셀이 더 높은 가중치를 갖는다.더 많은 계산을 요구하지만 이쯤되면 고품질의 매끄러운 이미지 생성이 가능하다. 이미지 편집 소프트웨어에서 이미지 크기를 조정하거나 저해상도 이미지의 품질을 향상시키는 데 일반적으로 이용되는 것이 이 방법이며, CG에서도 곡면의 가장자리를 매끄럽게 하거나 더 자세한 텍스처를 만드는 데 사용할 수 있다.
3.4. 스플라인 보간(Spline Interpolation)
본래 스플라인 보간이란 알려진 데이터 포인트 간의 연속 함수 값을 추정하는 데 사용되는 방법이다. 조각별 다항식 함수를 알려진 데이터 포인트에 맞추는 것이며, 스플라인 보간을 통해 보간된 함수는 전체 구간에서 매끄럽고[1] 연속적으로 표현된다.이미지 보간에서도 이를 응용하여 스플라인 보간을 사용할 수 있다. 이미지 전체를 3차원 텐서로 읽어들인 후, 특정 데이터 구간에 맞는 다항함수를 생성하여 원하는 보간 지점에서 함수값을 추정하는 것이다. 여기서 다항함수의 계수는 이미 알고 있는 데이터 포인트를 이용하여 결정하게 된다.
4. 보간 응용 방식
4.1. 이미지 리샘플링
문자 그대로 이미지 크기를 다시 조정하는 것. 업스케일링과 다운스케일링이 있으며, 일반적으로 업스케일링의 경우에 보간이 많이 들어가게 되지만, 다운스케일링이라고 해서 이미지 보간이 완전히 필요없는 것은 아니다.4.2. 안티에일리어싱(Anti-Aliasing)
4.3. Edge Preserving Smoothing
이미지의 서로 다른 영역 또는 객체 사이의 에지 또는 경계를 유지하면서 노이즈를 줄이고 이미지를 매끄럽게 만드는 데 사용되는 이미지 처리 기술. 기존에 널리 쓰이는 기법이었던 가우시안 스무딩 필터(Gaussian smoothing filtering)는 이미지의 가장자리를 흐리게 하거나 왜곡하여 다른 개체나 영역을 구별하기 어렵게 만들었으나, 이 기법은 장자리의 선명도와 대비를 유지하면서 이미지를 선택적으로 매끄럽게 만들 수 있다. 이 알고리즘은 로컬 이미지 구조에 따라 평활화 강도를 조정하여 작동한다. 주어진 점의 인접 픽셀을 고려하고 강도, 색상 또는 텍스처의 유사성을 분석하여 해당 점에 적용할 평활화 정도를 결정하는 것.이 기법은 단순한 이미지 보정이나 확대, 합성 뿐만 아니라 컴퓨터 비전, 의료 영상 및 원격 감지의 이미지 향상, 노이즈 제거, 세분화 및 특징 추출과 같은 다양한 응용 분야에서 널리 이용된다.
5. 관련 문서
[1] 미분가능하다는 뜻이다.