| 생성형 인공지능 관련 문서 | ||
| {{{#!wiki style="margin: 0 -10px -5px; min-height: calc(1.5em + 5px)" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -1px -11px" | <colbgcolor=#f5f5f5,#2d2f34> 종류 | 대화형 인공지능 (주요 목록) · 코드 생성 인공지능 · 그림 인공지능 · 영상 인공지능 · 음향 인공지능 · 3D 모델링· 지능형 에이전트 · VLA · 멀티모달 모델 · 언어 모델 · 월드 모델 |
| 프롬프트 | 프롬프트 · 프롬프트 엔지니어링 · 프롬프트 해킹 | |
| 아키텍처 | 트랜스포머 · GAN · 확산 모델 · 변분 오토인코더 · 자기회귀모델 | |
| 학습 | 자기지도학습 · 강화학습 (RLHF) | |
| 응용 | 인공지능 검색 엔진 · 바이브 코딩 · 인공지능 로봇 (테슬라 옵티머스) · AI 신약개발 | |
| 밈/유행 | 쇼거스 · AI 커버 · 창팝 · ChatGPT 지브리풍 이미지 생성 유행 · Italian Brainrot | |
| 기타 | AI 슬롭 · AI wrapper · 인공지능 환각 · 인공지능 벤치마크 · MCP · 대중화 · 인공 일반 지능 · 인공지능 정렬 · Spiritual bliss attractor | }}}}}}}}} |
1. 개요
| 확산 모델의 원리. Depth First의 영상이다. |
확산 모델은 생성형 모델의 한 종류로 비지도학습 방식으로 데이터 분포를 학습하며 새로운 데이터 생성에 사용된다. 특히 이미지나 오디오 같은 복잡한 데이터 생성 분야에서 뛰어난 성능을 보여준다. 최근 인공지능 분야에서 가장 주목받는 기술 중 하나로 데이터에 점진적으로 노이즈를 추가하는 확산 과정(Forward Process)와 노이즈로부터 원본 데이터를 복원하는 역확산 과정(Reverse Process)을 통해 학습하는 것이 핵심 원리다.
2. 역사
2015년 솔 딕스타인(Sohl-Dickstein)연구진이 비평형 열역학과 관련지어 처음 그 개념을 제시하였지만 한동안은 GAN이나 VAE에 밀려 큰 주목을 받지 못했다. 반전의 계기가 된 것은 2020년 구글 브레인의 조너선 호(Jonathan Ho)연구진이 발표한 DDPM. DDPM이 전에 없던 뛰어난 이미지 생성 성능을 보여주면서 확산 모델은 폭발적인 관심을 받기 시작했다. 이후 샘플링 속도 개선, 조건부 생성 등 다양한 방향으로 빠르게 발전하며 생성형 모델 분야의 주류 기술 중 하나로 자리매김했다.3. 원리
확산 모델의 작동 원리는 크게 두 단계로 나뉜다3.1. 확산 과정(Forward Process)
원본 데이터에서 시작해 정해진 스케줄에 따라 점진적으로 가우시안 노이즈를 추가한다. 이 과정을 여러 단계 반복하면 충분히 많은 단계를 거쳐 원본 데이터 형태는 사라지고 결국 순수한 가우시안 노이즈와 구별할 수 없게 된다. 이 확산 과정 자체는 미리 정의된 확률 과정으로 모델이 학습할 필요는 없고, 데이터가 노이즈로 변해가는 수학적 경로를 제공한다.3.2. 역확산 과정(Reverse Process)
확산 모델 학습의 핵심 단계이다. 순수한 가우시안 노이즈에서 시작하여 확산 과정을 거꾸로 거슬러 올라간다. 즉, 노이즈 상태에서 점진적으로 노이즈를 제거하며 원본 데이터 분포에 속하는 새로운 데이터를 생성하는 것이 목표이다.보통 U-Net 구조를 사용하여 각 단계에서 추가된 노이즈를 예측하도록 학습시키는데, 모델은 노이즈 예측값을 이용해 이전 단계의 덜 노이즈 낀 상태를 추정한다. 이 과정을 계속 반복하면서 최종적으로 깨끗한 데이터 샘플을 얻을 수 있으며 수많은 데이터와 노이즈 단계 쌍을 통해 노이즈 예측 능력을 정교하게 학습할 수 있게 된다.
4. 특징
| 확산 모델과 GAN, VAE의 비교 |
4.1. 장점
확산 모델들은 현존하는 생성 모델 가운데 가장 높은 수준의 데이터 품질을 보여준다 특히 이미지 및 영상 생성 분야에선 매우 사실적이고 세밀한 결과물을 만들어낸다.안정적인 학습이 가능하다는 장점도 있다. 생성적 적대 신경망과 비교했을 때 학습 과정이 훨씬 안정적이며, GAN의 고질적인 문제인 모드 붕괴(Mode Collapse) 현상이 잘 발생하지 않는다. 데이터 분포의 다양한 모드를 잘 학습해 생성되는 결과물의 다양성 또한 높은 편이다.
4.2. 단점
새로운 샘플 하나를 얻기 위해 역확산 과정을 수백에서 수천 단계에 걸쳐 반복해야 하므로 추론 속도가 느리다. 그러다보니 모델 학습과 데이터 생성 모두에 상당한 수준의 계산 자원이 필요해 고성능 GPU의 사용이 필수적이다.[1]나아가 VAE나 GAN처럼 명시적인 잠재 변수를 사용하는 모델과 달리 확산 모델의 중간 단계에 존재하는 노이즈는 인간이 직관적으로 의미를 해석하기 어려워 잠재 공간에 대한 분석이 복잡하다는 한계도 있다.
5. 주요 모델
- DDPMs(Denoising Diffusion Probabilistic Models, 2020)
2020년 발표되어 확산 모델의 가능성을 보여준 중요한 모델이며 현재 많은 확산 모델 연구의 기반이 된다.
- 잠재확산모델(Latent Diffusion Model, 2021)
고차원의 픽셀 공간 대신 오토인코더로 압축된 저차원의 잠재 공간(latent space)에서 확산 과정을 수행하는 모델. 계산 복잡도를 크게 줄이면서도 고품질 고해상도 이미지 생성이 가능하다.
- DDIM(Denoising Diffusion Implicit Model, 2023)
DDPMs의 느린 샘플링 속도를 개선하기 위해 제안된 모델이다. 더 적은 단계로 유사한 품질의 샘플 생성을 가능하게 한다.
- DiT(Diffusion Transformer, 2023)
기존 확산 모델의 U-Net 신경망 대신 트랜스포머(Transformer) 아키텍처를 백본(backbone)으로 사용하는 모델. 트랜스포머의 확장성을 활용하여 모델 및 연산 규모를 키움으로써 이미지 생성 성능을 크게 향상시킬 수 있다.
6. 플로우 매칭
확산 모델과 수학적으로 동등(mathmatically equivalent)한 방법론으로 '플로우 매칭(Flow matching)이라는 것이 있다. [2] 2022년 말에 처음 제안되었으며, 특히 야론 립맨(Yaron Lipman)연구팀의 조건부 플로우 매칭(Conditional Flow Matching, CFM)논문을 통해 본격적으로 알려졌다.다만, 플로우 매칭 기법의 학문사적 기원 자체는 확산 모델과 다르다. 정규화 흐름(Normalizing flow)과 그 응용형인 연속 정규화 흐름(Continuous Normalizing Flows, CNF)[3]을 바탕으로 하고 있기 때문.
플로우 매칭의 핵심 아이디어는, 복잡하고 느린 확산 모델의 확률적 과정(Stochastic Process) 대신, 단순하고 결정론적인 흐름(Flow)을 통해 노이즈를 데이터로 변환하는 방법을 학습하는 것이다. 학습의 안정성과 속도를 크게 향상시키면서도 고품질의 결과물을 생성할 수 있어, GAN, VAE, 확산 모델의 장점들을 결합한 대안으로 주목받고 있다.
플로우 매칭을 적용할 때에는 학습과 추론에 있어서 디퓨전 모델과 별개의 아키텍처를 사용할 필요가 없는데다, 많은 분야에서 더 뛰어난 성능을 발휘해 널리 적용되고 있다.
7. 응용
20년대 중반 기준 확산 모델은 생성적 적대 신경망, 변분 오토인코더등을 제치고 그림, 영상 생성의 지배적인 패러다임으로 자리매김 했다. 자기회귀모델과 함께 생성형 인공지능 시장을 양분하고 있으며 그 적용 범위도 날로 커지고 다양해지는 상황이다.- 이미지 생성: 가장 활발하게 연구되고 사용되는 분야로 다른 모델에 비해 매우 사실적인 고해상도 이미지를 생성한다.
- 텍스트-이미지 변환: 주어진 텍스트 설명을 바탕으로 이미지를 생성하는 기술의 핵심 요소로 사용된다. 오픈소스로 공개된 텍스트-이미지 모델인 스테이블 디퓨전과 빅테크 기업 주도로 개발된 Imagen, DALL·E2 [4], Midjourney등 대표적인 고성능 이미지 생성 모델들이 대부분 확산 모델 기술에 기반한다.
- 비디오 생성: 시간적 일관성을 유지하며 비디오 클립을 생성하는 연구가 진행 중이다. Sora등 대부분의 SOTA 모델들이 DiT기반이다.
- 이미지 편집 및 복원: 이미지 인페인팅, 손상 복구, 초해상도 향상, 스타일 트랜스퍼(Style Transfer)등 다양한 이미지 보정과 처리 작업에 응용된다.
- 텍스트 이해 및 생성: 비주류 접근이지만 dLLM(Diffusion Large Language Model)이라고 LLM 구축에 확산 모델을 백본으로 활용하는 경우가 있다. 최근 구글에서 이 디퓨전 모델을 이용한 언어모델을 선보여 화제가 되었다. 기존 자기회귀모델 기반 챗봇보다 빠른 생성 속도가 눈에 띄는 특징이다.
- 로봇 에이전트: Diffusion Policy(2023) 이후 로봇 파운데이션 모델에 적용되는 사례가 늘어나고 있다. 주로 로봇을 가동하는 액션 토큰 생성 모듈에 활용된다.
- 음향 인공지능: 푸리에 변환을 통해서 오디오와 스펙트로그램이 상호 변환이 가능하므로, 이미지 생성에서 사용되는 확산 모델을 그대로 음향 분야에서도 적용 가능하다. 오디오에서의 잡음제거, 보컬이나 악기 소리만 추출하는 소스 분리, AI 음악 생성 등 다양한 곳에 사용된다.