RAG について人々が好きなのか嫌いなのか判断するのは難しいものです。
最近の X や HN での議論によると、RAG はもう「死んでいる」はずだと言われています。今回の批判者たちは、ほとんどの RAG フレームワークの過剰なエンジニアリングに焦点を当てており、@jeremyphoward @HamelHusain @Yampeleg が示したように、20 行の Python コードで実現できるものだと指摘しています。
前回このような雰囲気があったのは、超長いコンテキストウィンドウを持つ Claude/Gemini のリリース直後でした。今回さらに悪いのは、@icreatelife @mark_riedl が示したように、Google の RAG でさえおかしな結果を生成することです。これは皮肉なことに、4 月にラスベガスの Google Next で、Google が RAG をグラウンディングのソリューションとして発表したばかりだったからです。
tagRAG の 2 つの問題点
現在の RAG フレームワークとソリューションには 2 つの問題があると考えています。
tagフィードフォワードのみ
まず、ほぼすべての RAG フレームワークは「フィードフォワード」パスのみを実装し、「バックプロパゲーション」パスが欠けています。これは不完全なシステムです。@latentspacepod のエピソードの 1 つで、@swyx が次の理由で RAG は LLM の長いコンテキストウィンドウによって殺されることはないと主張していたことを覚えています：
- 長いコンテキストは開発者にとって高価である
- 長いコンテキストはデバッグが難しく、分解可能性に欠ける
しかし、すべての RAG フレームワークがフォワーディングパスにのみ焦点を当てているのであれば、LLM よりもデバッグが容易だと言えるでしょうか？また、多くの人々が RAG のランダムな POC からの自動的な結果に過度に興奮し、バックワードチューニングなしでフォワードレイヤーを追加することが terrible idea だということを完全に忘れているのも興味深いです。ニューラルネットワークにレイヤーを 1 つ追加すると、そのパラメトリック空間が拡大し、表現能力が向上して、より多くの潜在的なことができるようになることは誰もが知っています。しかし、トレーニングなしではそれは何の意味もありません。Bay Area にはいくつかのスタートアップがあり、評価—本質的にはフィードフォワードシステムの損失を評価しようとしています。それは有用ですか？はい。しかし、RAG のループを閉じるのに役立ちますか？いいえ。
では、誰が RAG のバックプロパゲーションに取り組んでいるのでしょうか？私の知る限り、多くはありません。私が最もよく知っているのは、@stanfordnlp @lateinteraction による DSPy というライブラリで、それをミッションとしています。
stanfordnlpしかし DSPy でさえ、主な焦点は few-shot デモンストレーションの最適化であり、システム全体ではありません（少なくともコミュニティの使用からは）。しかし、なぜこの問題は難しいのでしょうか？それは、シグナルが非常にスパースであり、微分不可能なパイプラインシステムを最適化することは本質的に組み合わせ問題だからです—言い換えれば、極めて困難です。私は PhD の間に submodular 最適化について学びましたが、この技術が RAG の最適化に活用されるという感触を持っています。
tag実環境でのグラウンディングは難しい
Google の面白い検索結果にもかかわらず、RAG はグラウンディングのためのものだと私は同意します。グラウンディングには 2 つのタイプがあります：検索エンジンを使用して LLM の世界知識を拡張するサーチグラウンディングと、プライベート知識（例：独自データ）を使用して事実確認を行うチェックグラウンディングです。
どちらの場合も、これらの外部リソースが信頼できることを前提に、外部知識を引用して結果の事実性を向上させます。Google の面白い検索結果では、Web 上のすべてが信頼できるわけではないことが簡単に分かります（ええ、大きな驚きですね、誰が思ったでしょう！）。これによってサーチグラウンディングが悪く見えます。しかし、今のところ笑うしかないと思います。Google 検索 UI の背後には、ユーザーの反応を収集し、より良いグラウンディングのためにウェブサイトの信頼性を重み付けする暗黙のフィードバックメカニズムがあります。一般的に、この RAG はコールドスタートを乗り越えるだけでよく、時間とともに結果は改善されるはずなので、一時的なものであるはずです。
RAG は Google Next カンファレンスでグラウンディングソリューションとして紹介されました。
tag私の見解
RAG は生きているとも死んでいるとも言えません。だからそれについて議論するのはやめましょう。RAG は単なるアルゴリズムパターンの1つに過ぎません。しかし、もしあなたがそれを唯一のアルゴリズムとして崇拝するなら、あなたは自分で作ったバブルの中に生きることになり、そのバブルはいずれ弾けることでしょう。
