딥러닝 기반 화질 개선 AI 기술

[CamCyclopedia]

👨‍🎓박상욱👨‍🎓김종현

목차

1. 딥러닝 기반 화질 개선 AI 기술 개념
2. 저조도 화질 개선 AI 모델 : AI Nightography
3. 고화소 AI 영상 처리 알고리즘 : AI High-Resolution

딥러닝 기반 화질 개선 AI 기술 개념

딥러닝 기반 AI 기술이 발전함에 따라 전통적인 머신러닝 기반의 신호처리 기술에 의해 구동하는 H/W 카메라 ISP (Image Signal Processor) 처리 이외에, S/W 딥러닝 기반 화질 개선 AI 모델이 이를 대신하여 영상의 화질을 개선하는 경우가 늘어나고 있습니다. 특히, 저조도나 고화소와 같이 열화나 왜곡이 심한 영상을 개선해야 하는 경우에 딥러닝 기반의 솔루션이 더 좋은 성능을 보여주고 있습니다.

H/W ISP vs S/W AI-ISP

카메라 ISP 는 아래 그림과 같이 센서의 입력 신호를 사용자가 최종적으로 볼 수 있는 RGB 영상으로 변환하는 역할을 합니다.

H/W 카메라 ISP 는 전통적인 머신러닝 기반의 다양한 화질 처리를 위한 블록들로 구성되어 있으며 일반적으로 주간 조건에서 영상 촬영 시 동작합니다. AP (Application Processor) 제조사에 따라 그 구성과 성능이 다를 수 있습니다.

S/W 카메라 AI-ISP [1]는 저조도나 고화소 등의 촬영에서 동작합니다. 딥러닝 기반 화질 개선 AI 모델의 성능 최적화를 위하여 입력 이미지 전처리 및 출력 이미지 후처리가 필요합니다. 핵심이 되는 화질 개선 AI 모델은 ANN (Artificial Neural Network), CNN (Convolutional Neural Network), ViT (Vision Transformer) 등 다양한 네트워크 아키텍처가 사용될 수 있습니다.

갤럭시 카메라의 딥러닝 활용

갤럭시 카메라는 지도 학습, 비지도 학습 등 다양한 AI 모델을 이용하여 디모자잌, 노이즈 제거, 선명도 향상 등 다양한 화질 개선을 처리하고 있습니다.

첫째, 지도 학습의 경우 저화질 영상과 고화질 영상을 학습 데이터로 구성하여 화질 개선 AI 모델을 학습하며 학습 데이터의 품질은 화질에 큰 영향을 미칩니다.

둘째, 비지도 학습의 경우 화질의 목표가 되는 고화질 영상 없이도 화질 개선 AI 모델이 화질 열화를 개선하도록 학습을 진행합니다.

훈련된 화질 개선 AI 모델은 갤럭시 카메라에 적용되기 위한 최적화 과정을 거치며, 휴대 단말의 GPU (Graphics processing unit) 또는 NPU (Neural processing unit)를 통해 빠르게 동작을 수행합니다.

저조도 화질 개선 AI 모델 : AI Nightography

빛이 적은 저조도 환경에서는 카메라 출력 영상에 다양한 형태의 노이즈가 발생하여 화질을 왜곡시킵니다. 일반적으로 잘 학습된 네트워크 기반 화질 개선 AI 모델은 非네트워크 기반 솔루션에 비하여 화질 개선 성능이 뛰어난 것으로 알려져 있습니다. 갤럭시 카메라는 야간 모드를 통해 밤이나 어둠속에서도 AI기술에 의한 밝고 생생한 컬러감 및 피사체의 디테일을 생생하게 기록하는 나이토그래피(Nightography) 경험을 제공합니다.

저조도 노이즈 종류

광자 샷 노이즈 (Photon shot noise)
빛이 충분할 때와 달리 저조도의 낮은 수광 조건에서는 카메라 센서의 포토다이오드에 다수의 광자가 튀어나가버려 양공이 형성될 확률이 적습니다. 따라서, 픽셀 간 측정값이 불안정하여 광자 샷 노이즈가 발생합니다. 이는 ISO 증폭 즉, 아날로그 게인 증폭 시 함께 증폭됩니다.

판독 노이즈 (Readout noise)
이미지 센서의 신호 판독을 위해 아날로그를 디지털로 전환하는 과정에서 발생하는 증폭기 고유의 출력 노이즈입니다. 이는 위에서 설명한 광자 샷 노이즈와 달리 ISO 증폭에 크게 영향을 받지 않습니다.

이 외에도 장노출 암전류, 센서 리셋, 양자화, 흑백 점 등 다양한 형태의 노이즈가 존재합니다.

아래 사진은 wikipedia의 카메라 ISO 설정에 따른 광자 노이즈 분포를 볼 수 있는 사진입니다. [2] 수광 조건이 낮을 수록 영상의 왜곡이 증가하는 것을 볼 수 있습니다.

갤럭시 카메라의 화질 개선 AI 모델 사용

갤럭시 카메라 앱의 야간모드 사용 방법
아래 그림과 같이 저조도 환경에서 갤럭시 카메라의 "Auto 모드 또는 Portrait 모드의 야간 모드 사용해보기 ON 상태" 또는 "더보기>야간 선택"에서 사진을 촬영하면 화질 개선 AI 모델이 동작하며 노이즈가 제거되어 보다 깨끗하고 선명한 결과물을 얻을 수 있습니다.

"역대급 예고한 갤럭시 S22... 야간 촬영 기능 혁신" 바로가기
"야경은 갤럭시... 밤눈 환해진 갤S22울트라" 바로가기
"갤럭시S22Ultra vs 아이폰13 야간 사진 모드 승자는?" 바로가기

저조도 화질 개선 AI 모델 입출력

야간 모드에 적용된 화질 개선 AI 모델은 색노이즈 및 점 노이즈를 효과적으로 제거하고 원본 디테일 손상을 최소화하여 밝고 선명한 결과물을 소비자에게 제공합니다.

아래 그림은 저조도 화질 개선 AI 모델 입출력 예를 보여주고 있습니다.

좌측 영상은 저조도 입력 영상으로 다수의 컬러 노이즈가 존재하는 것을 볼 수 있습니다.

우측 영상은 화질 개선 AI 모델을 이용하여 화질을 개선한 영상으로 왜곡이 줄어든 것을 볼 수 있습니다.

고화소 AI 영상 처리 알고리즘 : AI High-Resolution

딥러닝 기반의 AI 영상 처리를 활용하여 작은 크기의 픽셀이 갖는 물리적인 한계(노이즈 및 디테일 열화)를 극복하는 기술입니다.

픽셀의 크기가 작으면 픽셀에 도달하는 빛의 양이 적어지며, 이는 노이즈의 증가로 이어집니다.

고화소 센서에 최적화된 AI 영상 처리로 획기적인 체감 화질을 개선했으며, 화소 숫자에 걸맞는 고해상도 화질을 제공합니다.

고화소 센서란?

고화소 센서는 대표적으로 S22 Ultra 및 S22/S22+에서 사용되었으며, 각각 108MP와 50MP의 화소수를 갖습니다.

일반적인 센서에서는 Bayer Color Filter Array (CFA) 구조를 사용하는 반면, 고화소 센서는 Nona CFA (108MP) 및 Tetra CFA (50MP)로 구성되어 있습니다.

동일 칩셋 크기에 픽셀 개수가 늘어남에 따라, 픽셀 당 크기는 작아지고 물리적인 수광 면적이 줄어듭니다.

AI Nona/Tetra Demosaic - 향상된 AI 디모자익 알고리즘으로 디테일 극대화

영상은 세 채널(적색/녹색/청색)로 이루어지며, 일반적으로 이미징 센서는 한 픽셀 당 한 채널 밖에 획득할 수 없습니다. 따라서 녹색 채널이 얻어진 경우는 나머지 채널(적색/청색)을 추정하여 영상의 형태를 갖춰야 합니다. 센서로부터 얻어진 단채널 정보를 세 채널 영상으로 바꾸는 과정을 디모자익이라고 부릅니다.

한 픽셀은 색 필터(color filter)를 이용하여 어떤 색을 담을지 결정할 수 있습니다. 이미징 센서는 색을 구분하기 위해 CFA(Color Filter Array)를 장착하여 특정 패턴을 갖게 됩니다.

기존 H/W ISP는 Bayer 패턴을 입력으로 합니다. 따라서 Bayer 이외의 패턴들은 Bayer 패턴으로 변환해 주는 Remosaic 알고리즘이 필수적이며, 이 과정에서 디테일 손실이 필연적으로 수반됩니다.

한편 AI 디모자익 알고리즘은 학습된 신경망을 통해 Nona/Tetra 구조의 RAW 영상에서 직접적으로 색상 정보를 복원합니다. 따라서 디테일을 극대화 할 수 있으며, 하나의 픽셀에서 세 가지 색상을 정확하게 복원할 수 있습니다.

센서의 Nona/Tetra CFA 패턴을 모델링하고, AI 신경망을 훈련시키기 위해 다양한 패턴의 고해상도 영상이 학습에 사용되었습니다.

AI Denoise - 작은 크기의 픽셀이 갖는 물리적인 한계 극복

노이즈 제거 알고리즘의 목표는 영상 신호에서 노이즈를 제거하는 한편 영상의 디테일은 유지하는 것입니다.

일반적으로 노이즈를 제거하는 과정에서 디테일도 함께 제거되는 것으로 알려져 있습니다. 따라서 노이즈를 과도하게 제거하면 디테일이 손실되며, 디테일을 유지시키려면 노이즈 제거 강도가 약해져야 합니다.

AI를 활용한 노이즈 제거 알고리즘은 신경망이 패턴을 인식하고 학습된 적절한 필터를 적용합니다. 따라서 H/W ISP의 노이즈 제거 방법에 비해 훨씬 더 정확한 디테일을 유지하는 방향으로 노이즈를 제거하고 이미지를 복원할 수 있습니다.

센서의 물리적인 노이즈 특성을 모델링하고, 이를 바탕으로 수천~수만장의 고해상도 영상으로 AI 신경망을 학습합니다 .

갤럭시 카메라의 고해상도 모드 - 디테일 향상 (Detail Enhancer)

위에서 언급한 AI Demosaic 및 AI Denoise 알고리즘과 S/W ISP의 전처리/후처리 알고리즘이 결합되어 최적의 pipeline을 구성하였으며, 고해상도 모드의 '디테일 향상 (Detail Enhancer)'으로 상품화되었습니다.

갤럭시의 AI 전용 H/W 칩셋인 NPU를 활용하여 모바일 환경에서 보다 빠르게 구동할 수 있도록 구현하였으며, GPU/CPU 리소스 분산을 통해 pipeline 최적화를 이루었습니다.

참고

[1] 저조도 개선용 S/W AI-ISP는 S22, Z Fold4, Z Flip4 등 일부 모델에 적용 중입니다.

[2] https://en.wikipedia.org/wiki/Image_noise (captured by Mdf CC BY-SA 3.0)