우리는 이미지에 대한 자동 회귀 학습을 표준 래스터 스캔 "다음-스케일 예측"에서 벗어나 대략적인 "다음 규모 예측" 또는 "다음 해상도 예측"으로 재정의하는 차세대 패러다임인 Visual AutoRegressive 모델링(VAR)을 제시합니다. 토큰 예측".

이 간단하고 직관적인 방법을 사용하면 자동회귀(AR) 변환기가 시각적 분포를 빠르게 학습하고 잘 일반화할 수 있습니다.

VAR을 사용하면 처음으로 AR 모델이 이미지 생성에서 확산 변환기(DiT)를 능가하게 됩니다.

ImageNet 256x256 벤치마크에서 VAR은 FID(Frechet Inception Distance)를 18.65에서 1.80으로, IS(Inception Score)를 80.4에서 356.4로 개선하고 추론 속도를 약 20배 더 빠르게 개선하여 AR 기준을 크게 향상시킵니다.

또한 VAR은 이미지 품질, 추론 속도, 데이터 효율성, 확장성 등 여러 측면에서 DiT(확산 변환기)보다 성능이 우수하다는 것이 경험적으로 검증되었습니다.

VAR 모델을 확장하면 LLM에서 관찰된 것과 유사한 명확한 거듭제곱 법칙이 나타나며 선형 상관 계수는 -0.998에 가깝다는 확실한 증거가 있습니다.

VAR은 이미지 인페인팅, 아웃페인팅 및 편집을 포함한 다운스트림 작업에서 제로샷 일반화 기능을 더욱 보여줍니다.

이러한 결과는 VAR이 처음에 LLM의 두 가지 중요한 속성인 확장 법칙과 제로샷 작업 일반화를 에뮬레이트했음을 시사합니다.

시각적 생성 및 통합 학습을 위한 AR/VAR 모델 탐색을 촉진하기 위해 모든 모델과 코드를 공개했습니다.

Sora에도 쓰인 DiT(디퓨전 트랜스포머)를 넘어서는 방법이 등장함

DiT 대비 지표도 뛰어나며, 특히 LLM과 똑같은 스케일링 법칙이 명확하게 관찰됨

생성 속도 또한 DiT 대비 훨씬 더 빠름(대략 45배~80배)

북경대와 바이트댄스에서 내놓음

소스코드 및 가중치 오픈소스