AI가 AI를 만들 때: 합성 데이터, 모델 증류, 그리고 모델 붕괴

AI에 대한 논의는 자주 종말론적입니다. 이는 부분적으로 종말론적 공상 과학이 우리의 인공지능에 대한 정신적 이미지를 만들어낸 방식 때문입니다. 더 많은 기계를 만들 수 있는 똑똑한 기계에 대한 비전은 수 세대에 걸쳐 공상 과학의 일반적인 주제였습니다.

많은 사람들이 최근 AI 발전의 실존적 위험에 대해 목소리를 높여왔습니다. 그 중에는 AI를 상업화하는 데 관여한 비즈니스 리더들과 일부 과학자들, 연구자들도 있습니다. 이는 AI 과대 선전의 한 요소가 되었습니다. 과학계와 산업계의 냉철해 보이는 아이콘들이 세상의 종말을 고민할 정도로 강력한 것이라면, 분명히 수익을 낼 만큼 강력할 것이라는 생각이죠.

그렇다면 우리는 AI의 실존적 위험에 대해 걱정해야 할까요? Sam Altman이 ChatGPT로 Ultron을 만들어 그의 AI 군대가 동유럽 도시들을 우리에게 던지게 될 것을 두려워해야 할까요? Peter Thiel의 Palantir가 Skynet을 구축하고 설명할 수 없는 오스트리아 악센트를 가진 로봇을 과거로 보내 우리를 죽이게 될 것을 걱정해야 할까요?

아마도 그렇지 않을 것입니다. 업계 리더들은 아직 AI가 자체적으로 비용을 충당할 수 있는 명확한 방법을 찾지 못했으며, 산업을 파괴하는 것은 고사하고 기후 변화나 핵무기에 견줄 만한 수준으로 인류를 위협하는 것은 더더욱 아닙니다.

우리가 실제로 가지고 있는 AI 모델들은 인류를 멸망시키기에는 턱없이 부족합니다. 손을 그리는 데 어려움을 겪고, 세 개 이상의 물건을 세지 못하며, 쥐가 물어뜯은 치즈를 판매해도 괜찮다고 생각하고, 게토레이로 가톨릭 세례를 수행합니다. AI의 평범한, 비실존적 위험들 - 허위정보를 퍼뜨리고, 괴롭히고, 스팸을 생성하며, AI의 한계를 이해하지 못하는 사람들에 의해 잘못 사용되는 방식 - 이 충분히 우려스럽습니다.

하지만 인공지능으로부터 오는 한 가지 실존적 위험은 확실히 정당합니다: AI는... AI 자체에 명백하고 현존하는 위험을 초래합니다.

이 두려움은 보통 "모델 붕괴"라고 불리며 Shumailov et al. (2023)과 Alemohammad et al. (2023)에서 강력한 실증적 증명이 이루어졌습니다. 개념은 간단합니다: AI가 생성한 데이터로 AI 모델을 훈련시키고, 그 결과물로 다른 모델을 훈련시키는 과정을 여러 세대에 걸쳐 반복하면, AI는 객관적으로 점점 더 나빠질 것입니다. 복사본의 복사본의 복사본을 만드는 것과 같습니다.

최근 모델 붕괴에 대한 논의가 있었고，언론 헤드라인에서 AI가 훈련 데이터가 부족해지고 있다는 내용이 등장하고 있습니다. 인터넷이 AI가 생성한 데이터로 가득 차고 인간이 만든 데이터를 식별하고 사용하기가 더 어려워진다면，머지않아 AI 모델들은 품질 한계에 부딪힐 것입니다.

동시에，AI 개발에서 합성 데이터와 모델 증류 기법의 사용이 증가하고 있습니다. 둘 다 적어도 부분적으로는 다른 AI 모델의 출력으로 AI 모델을 훈련시키는 것으로 구성됩니다. 이 두 가지 트렌드는 서로 모순되는 것처럼 보입니다.

상황은 그보다 좀 더 복잡합니다. 생성형 AI가 작업을 망치고 자체 진보를 억제할까요? 아니면 AI가 더 나은 AI를 만드는 데 도움이 될까요? 아니면 둘 다일까요?

이 글에서 몇 가지 답을 찾아보겠습니다.

tag모델 붕괴

Alemohammad et al.이 "모델 자가포식 장애(Model Autophagy Disorder，MAD)"라는 용어를 만든 것에 대해 감사하지만，"모델 붕괴"가 훨씬 더 기억하기 쉽고 자기 식인증을 의미하는 그리스어를 포함하지 않습니다. 복사본의 복사본을 만드는 은유는 문제를 간단한 용어로 전달하지만，기저 이론에는 좀 더 많은 내용이 있습니다.

AI 모델을 훈련시키는 것은 통계적 모델링의 한 유형으로，통계학자들과 데이터 과학자들이 오랫동안 해온 것의 확장입니다. 하지만 데이터 과학 수업 첫날에 데이터 과학자의 모토를 배웁니다:

모든 모델은 틀렸다，하지만 일부는 유용하다.

이 인용구는 George Box의 말로，모든 AI 모델 위에 있어야 할 깜빡이는 빨간 경고등입니다. 어떤 데이터에 대해서든 통계적 모델을 만들 수 있고 그 모델은 항상 답을 줄 것이지만，그 답이 맞거나 심지어 근접하다는 것을 보장하는 것은 전혀 없습니다.

통계적 모델은 무언가의 근사치입니다. 그 출력이 유용할 수도 있고 심지어 충분히 좋을 수도 있지만，여전히 근사치일 뿐입니다. 평균적으로 매우 정확한 것으로 잘 검증된 모델이라 하더라도，때때로 큰 실수를 할 수 있고 아마도 할 것입니다.

AI 모델은 통계적 모델링의 모든 문제를 물려받습니다. ChatGPT나 다른 대형 AI 모델을 가지고 놀아본 사람이라면 누구나 그것이 실수하는 것을 보았을 것입니다.

그래서，AI 모델이 실제 무언가의 근사치라면，다른 AI 모델의 출력으로 훈련된 AI 모델은 근사치의 근사치입니다. 오류가 누적되고，본질적으로 훈련에 사용된 모델보다 덜 정확한 모델이 될 수밖에 없습니다.

Alemohammad et al.은 새로운 "자식" 모델을 훈련하기 전에 AI 출력에 원본 훈련 데이터의 일부를 추가하는 것으로는 문제를 해결할 수 없다는 것을 보여줍니다. 그것은 단지 모델 붕괴를 늦출 뿐이며，멈출 수는 없습니다. AI 출력으로 훈련할 때 충분한 양의 새롭고，이전에 보지 못한 실제 데이터를 도입하지 않는 한，모델 붕괴는 불가피합니다.

얼마나 많은 새로운 데이터가 충분한지는 예측하기 어려운 사례별 요인에 따라 다르지만，새롭고 실제 데이터가 많고 AI가 생성한 데이터가 적을수록 항상 더 좋습니다.

그리고 이것이 문제가 됩니다. 쉽게 접근할 수 있는 새로운 인간 제작 데이터의 모든 출처가 이미 고갈된 반면，인터넷상의 AI 생성 이미지와 텍스트 데이터의 양은 비약적으로 증가하고 있기 때문입니다. 인터넷상의 인간 제작 대 AI 제작 콘텐츠의 비율은 감소하고 있으며，아마도 빠르게 감소하고 있을 것입니다. AI가 생성한 데이터를 자동으로 감지할 수 있는 신뢰할 만한 방법은 없으며 많은 연구자들은 그런 방법이 있을 수 없다고 믿습니다. AI 이미지와 텍스트 생성 모델에 대한 공개 접근은 이 문제가 커질 것이며，아마도 극적으로 커질 것이고，명확한 해결책이 없다는 것을 보장합니다.

인터넷상의 기계 번역의 양은 이미 때가 늦었음을 의미할 수 있습니다. 인터넷상의 기계 번역된 텍스트는 생성형 AI 혁명이 오기 훨씬 전부터 우리의 데이터 소스를 오염시켜 왔습니다. Thompson 외, 2024에 따르면, 인터넷상의 텍스트 중 절반 정도가 다른 언어에서 번역된 것일 수 있으며, 그 번역의 상당 부분이 품질이 낮고 기계 생성의 징후를 보입니다. 이는 이러한 데이터로 학습된 언어 모델을 왜곡할 수 있습니다.

예를 들어, 아래는 Die Welt der Habsburger 웹사이트의 페이지 스크린샷으로, 명백한 기계 번역의 증거를 보여줍니다. "Hamster buying"은 독일어 hamstern을 너무 직역한 것으로, to hoard 또는 panic-buying을 의미합니다. 이런 사례가 너무 많으면 AI 모델이 "hamster buying"이 영어에서 실제로 존재하는 것이며 독일어 hamstern이 애완 햄스터와 관련이 있다고 생각하게 될 것입니다.

거의 모든 경우에 학습 데이터에 AI 출력이 더 많이 포함되는 것은 좋지 않습니다. 여기서 거의라는 표현이 중요한데, 아래에서 두 가지 예외를 논의하겠습니다.

tag합성 데이터

합성 데이터는 실제 세계에서 발견된 것이 아닌 인공적으로 생성된 AI 학습 또는 평가 데이터입니다. Nikolenko (2021)는 합성 데이터의 기원을 1960년대 초기 컴퓨터 비전 프로젝트로 거슬러 올라가며, 이 분야에서 중요한 요소로서의 역사를 설명합니다.

합성 데이터를 사용하는 데는 많은 이유가 있습니다. 가장 큰 이유 중 하나는 편향을 해결하기 위해서입니다.

대규모 언어 모델과 이미지 생성기는 편향성에 대해 많은 주목받는 불만을 받아왔습니다. 편향이라는 단어는 통계학에서 엄격한 의미를 가지지만, 이러한 불만은 종종 단순한 수학적 형태나 공학적 해결책이 없는 도덕적, 사회적, 정치적 고려사항을 반영합니다.

쉽게 보이지 않는 편향이 훨씬 더 해롭고 해결하기도 어렵습니다. AI 모델이 재현하는 패턴은 학습 데이터에서 보이는 것들이며, 그 데이터에 체계적인 결함이 있는 경우 편향은 필연적인 결과입니다. AI가 수행해야 할 다양한 작업이 많아질수록 - 즉 모델에 대한 입력이 다양해질수록 - 학습 과정에서 유사한 사례를 충분히 보지 못했기 때문에 잘못될 가능성이 커집니다.

오늘날 AI 학습에서 합성 데이터의 주요 역할은 자연 데이터에서는 충분히 찾아볼 수 없는 특정 상황의 예시들을 학습 데이터에 충분히 포함시키는 것입니다.

아래는 MidJourney가 "doctor" 프롬프트로 생성한 이미지입니다: 네 명의 남성, 그 중 세 명은 백인이고, 세 명은 청진기를 착용한 흰 가운을 입었으며, 한 명은 실제로 나이가 많습니다. 이는 대부분의 국가와 맥락에서 실제 의사들의 인종, 나이, 성별, 복장을 반영하지 않지만, 인터넷에서 찾을 수 있는 라벨링된 이미지들을 반영할 가능성이 높습니다.

다시 프롬프트를 입력했을 때, 한 명의 여성과 세 명의 남성이 생성되었고, 모두 백인이었으며 그 중 하나는 만화 캐릭터였습니다. AI는 이상할 수 있습니다.

이러한 특정 편향은 AI 이미지 생성기들이 방지하려고 노력해 온 것이므로, 같은 시스템에서도 아마 1년 전에 비해 명백히 편향된 결과를 덜 얻게 되었습니다. 편향이 여전히 눈에 띄게 존재하지만, 편향되지 않은 결과가 어떤 모습일지는 명확하지 않습니다.

그래도 AI가 이러한 종류의 편견을 어떻게 습득했는지 파악하기는 어렵지 않습니다. 아래는 Shutterstock 사진 웹사이트에서 "doctor"로 검색했을 때 나온 첫 세 개의 이미지입니다: 세 명의 남성, 그 중 두 명은 나이가 많고 백인입니다. AI의 편향은 학습 데이터의 편향이며, 선별되지 않은 데이터로 모델을 학습시키면 항상 이러한 종류의 편향을 발견하게 될 것입니다.

이 문제를 완화하는 한 가지 방법은 AI 이미지 생성기를 사용하여 젊은 의사, 여성 의사, 유색인종 의사, 수술복이나 정장 또는 다른 의복을 입은 의사들의 이미지를 생성하고 이를 학습에 포함시키는 것입니다. 이렇게 사용된 합성 데이터는 모델 붕괴를 초래하는 대신, 적어도 일부 외부 규범에 비해서는 AI 모델 성능을 향상시킬 수 있습니다. 하지만 학습 데이터 분포를 인위적으로 왜곡하면 Google이 최근 발견한 것처럼 의도하지 않은 부작용이 생길 수 있습니다.

tag모델 증류

모델 증류는 한 모델을 다른 모델로부터 직접 학습시키는 기술입니다. 학습된 생성 모델 - "교사" - 이 학습되지 않았거나 덜 학습된 "학생" 모델을 학습시키는 데 필요한 만큼의 데이터를 생성합니다.

예상하듯이, "학생" 모델은 절대로 "교사"보다 더 나을 수 없습니다. 얼핏 보면 그런 방식으로 모델을 학습시키는 것이 의미가 없어 보이지만, 이점이 있습니다. 주된 이점은 "학생" 모델이 "교사"의 성능을 근접하게 유지하면서도 훨씬 더 작고, 빠르거나, 효율적일 수 있다는 것입니다.

모델 크기, 학습 데이터, 최종 성능 간의 관계는 복잡합니다. 하지만 전반적으로, 다른 조건이 동일하다면:

1. 더 큰 모델이 작은 모델보다 성능이 좋습니다.
2. 더 많거나 더 좋은 학습 데이터(또는 적어도 더 다양한 학습 데이터)로 학습된 모델이 더 적거나 더 나쁜 데이터로 학습된 모델보다 성능이 좋습니다.

이는 작은 모델이 때로는 큰 모델만큼 잘 수행할 수 있다는 것을 의미합니다. 예를 들어, jina-embeddings-v2-base-en은 표준 벤치마크에서 훨씬 더 큰 많은 모델들보다 상당히 더 나은 성능을 보입니다: