사람들이 RAG를 사랑하면서도 미워하는지, 아니면 미워하면서도 사랑하는지 구분하기 어렵습니다.
X와 HN의 최근 토론에 따르면, RAG는 이제 다시 죽어야 한다고 합니다. 이번에는 비평가들이 대부분의 RAG 프레임워크가 과도하게 엔지니어링되었다는 점을 지적하고 있습니다. @jeremyphoward @HamelHusain @Yampeleg가 보여준 것처럼 20줄의 Python 코드로도 구현이 가능합니다.
이런 분위기를 마지막으로 느꼈던 때는 매우 긴 컨텍스트 윈도우를 가진 Claude/Gemini가 출시된 직후였습니다. 이번에 더 안 좋은 점은 @icreatelife @mark_riedl가 보여준 것처럼 Google의 RAG도 이상한 결과를 생성한다는 것입니다. 이는 아이러니합니다. 4월 라스베가스 Google Next에서 Google이 RAG를 grounding 솔루션으로 발표했기 때문입니다.
tagRAG의 두 가지 문제점
오늘날 RAG 프레임워크와 솔루션에서 두 가지 문제점을 발견했습니다.
tag순전파만 존재
첫째, 거의 모든 RAG 프레임워크는 "순전파" 경로만 구현하고 "역전파" 경로가 없습니다. 이는 불완전한 시스템입니다. @latentspacepod의 한 에피소드에서 @swyx가 RAG는 LLM의 긴 컨텍스트 윈도우에 의해 죽지 않을 것이라고 주장한 것이 기억납니다. 그 이유는:
- 긴 컨텍스트는 개발자에게 비용이 많이 들고
- 긴 컨텍스트는 디버깅이 어렵고 분해가능성이 부족하기 때문입니다.
하지만 모든 RAG 프레임워크가 순전파 경로에만 집중한다면, LLM보다 디버깅이 어떻게 더 쉽겠습니까? 많은 사람들이 임의의 POC에서 RAG의 자동 마법 같은 결과에 과도하게 흥분하고, 역방향 튜닝 없이 순전파 계층을 추가하는 것이 끔찍한 아이디어라는 것을 완전히 잊어버리는 것도 흥미롭습니다. 신경망에 하나의 계층을 더 추가하면 파라미터 공간이 확장되고 따라서 표현력이 향상되어 더 많은 잠재적인 작업을 수행할 수 있게 되지만, 훈련 없이는 아무 의미가 없다는 것을 우리 모두 알고 있습니다. 베이 에리어에는 평가 작업을 하는 스타트업들이 꽤 있는데, 본질적으로 순전파 시스템의 손실을 평가하려고 합니다. 유용한가요? 네. 하지만 RAG의 루프를 닫는 데 도움이 되나요? 아니오.
그렇다면 누가 RAG의 역전파 작업을 하고 있을까요? 제가 아는 한 많지 않습니다. 저는 주로 @stanfordnlp @lateinteraction의 라이브러리인 DSPy를 알고 있는데, 이것이 그 mission을 가지고 있습니다.
stanfordnlp하지만 DSPy조차도 주요 초점은 few-shot 데모를 최적화하는 데 있지, 전체 시스템에 있지 않습니다(적어도 커뮤니티 사용에서는). 하지만 왜 이 문제가 어려울까요? 신호가 매우 희박하고, 미분 불가능한 파이프라인 시스템을 최적화하는 것은 본질적으로 조합 문제이기 때문입니다. 즉, 극도로 어렵습니다. 저는 박사 과정에서 submodular 최적화를 공부했는데, 이 기술이 RAG 최적화에 잘 활용될 것 같은 느낌이 듭니다.
tag실제 환경에서의 Grounding은 어렵습니다
Google의 이상한 검색 결과에도 불구하고, RAG가 grounding을 위한 것이라는 데 동의합니다. 두 가지 유형의 grounding이 있습니다: LLM의 세계 지식을 확장하기 위해 검색 엔진을 사용하는 검색 grounding과 사실 확인을 위해 개인 지식(예: 독점 데이터)을 사용하는 체크 grounding입니다.
두 경우 모두 외부 리소스가 신뢰할 수 있다는 전제 하에 결과의 사실성을 개선하기 위해 외부 지식을 인용합니다. Google의 이상한 검색 결과에서 쉽게 볼 수 있듯이 웹의 모든 것이 신뢰할 수 있는 것은 아닙니다(네, 큰 놀라움이네요. 누가 생각이나 했겠어요!), 이는 검색 grounding이 좋지 않아 보이게 만듭니다. 하지만 지금은 웃을 수밖에 없다고 생각합니다. Google 검색 UI 뒤에는 사용자들의 반응을 수집하고 더 나은 grounding을 위해 웹사이트의 신뢰도를 가중치로 부여하는 암묵적 피드백 메커니즘이 있습니다. 일반적으로 이는 매우 일시적일 것입니다. 이 RAG는 단지 콜드 스타트를 지나면 되고, 시간이 지나면서 결과가 개선될 것이기 때문입니다.
RAG는 Google Next 컨퍼런스에서 그라운딩 솔루션으로 소개되었습니다.
tag내 견해
RAG는 죽었다거나 살아있다고 할 수 없습니다. 그러니 이에 대해 논쟁하는 것을 멈추세요. RAG는 단지 사용할 수 있는 알고리즘 패턴 중 하나일 뿐입니다. 하지만 이것을 유일한 알고리즘으로 만들어 우상화한다면, 당신은 스스로 만든 버블 속에 살고 있는 것이며, 그 버블은 결국 터질 것입니다.
