이미지에 사람의 눈으로는 잘 보이지 않는 필터를 씌워, 생성형 AI에 학습되는 것을 막아준다는 기술. GLAZE라는 필터를 직접 사용해 보았다.

https://glaze.cs.uchicago.edu/

 공식 사이트에서 다운받을 수 있는데, 다운로드와 실행까지의 대기시간이 꽤 걸렸다.

 인터페이스는 상당히 간단하다. 이미지를 선택하고, 필터의 강도와 퀄리티를 설정한 뒤, 출력 폴더를 지정하고 실행시키는 것 이외의 버튼이 없다.

 테스트를 위해 직접 이미지에 필터를 적용시켜보았다.

 논문에서도, 홍보 페이지에서도 사람에 눈에는 잘 띄지 않는 필터라고 소개한 것에 비하면 기본 설정임에도 노이즈가 상당하다. 셀 채색 기반의 간단한 이미지에는 적용하기 어려울 것 같아 보인다.

 기본 설정에서 3060ti를 이용해서 실행시켰을 때, 필터 적용에 이미지 한 장당 대략 1분 50초 내외의 시간이 걸렸다. CPU 환경에서 최고 퀄리티로 설정시 60분 가량이 소요된다는 내용을 보면, 그래픽카드가 없는 환경이나 모바일 등 저사양의 기기에서는 사용하기 곤란할 것 같다.

 다음으로, 실제로 AI의 학습에 큰 지장을 주는지 직접 학습시켜보았다.

 테스트를 위한 이미지로는 그림작가 '김형태' 일러스트레이터님의 작품을 이용했다. 다른 이유보다 그림 생성형 AI 사용에 우호적이고, 학습에 동의하는 작가가 몇 되지 않아, 확실하게 의견을 표명한 김형태 작가님을 학습 대상으로 삼았다.

 그림체 재현 모델을 만들기 위해서가 아니라 테스트를 위해서 학습하는 것이기 때문에 이미지는 총 5장을 사용했다.

 이미지는 WD14 Tagger를 통해 booru tag 방식으로 캡셔닝되었다. 따로 트리거 워드나 텍스트 수정은 가하지 않았다.

 학습은 Stable diffusion 1.5를 기반으로 한 개인 병합 모델에 LoRA를 이용해 진행되었다. 이미지 장수가 적기 때문에 네트워크 랭크는 8, Epoch는 200으로 설정하였다.

 이미지 사이즈가 작아서인지 학습에 오랜 시간이 걸리진 않았고, loss 값도 예상보다 낮게 적절한 수치로 유지되었다.

 10에포크에서부터 어느정도 학습이 진행되었음이 나타났다. 그림체가 크게 재현되진 않았지만, AI 특유의 그림체에서 과거 스타일로 변형이 일어난 것으로 보인다.

 체리피킹되지 않은 이미지임에도 나름 김형태 작가님의 스타일을 재현해냈다.

(과도하게 선정적인 이미지는 제거했다. 데이터셋이나 모델이나 NSFW 성향이 강해서 선정적인 이미지가 생성되는 경향이 있다)

 데이터셋도 학습량도 매우 작아서 화풍을 완전히 따라해내진 못했지만, 학습 필터가 무색하게도 노이즈가 섞이지 않은 멀쩡한 이미지가 생성되었다.

 학습 방해가 제대로 되지 않은 이유를 나름대로 직접 분석해보자면, GLAZE는 CLIP 모델에 크게 관여하는 것으로 보이는데, 내가 Stable Diffusion의 기본 CLIP 모델을 사용하거나 하지 않고, Deepdanbooru 기반의 WD14 Tagger를 이용했기 때문에 그 영향을 피해간 것으로 보인다.

 아니면 GLAZE의 성능에 대한 광고와 논문이 단순한 Hype 였거나. (...)

 GLAZE 외에도 nightshade 등, 다양한 AI 학습 방지 필터들이 등장하고 있는데, 다른 필터들의 성능은 어떨까 궁금하다.