Was können wir von ModernBERT lernen?

Im Jahr 2018 veröffentlichte Google BERT, was ein Game-Changer für NLP war, lange vor der aktuellen LLM-Welle. Auch heute noch basieren viele Small Language Models auf BERT. Im Dezember 2024 nimmt ModernBERT die Erkenntnisse aus den jüngsten LLM-Entwicklungen und wendet sie auf diese kleineren Modelle an. Die wichtigsten Änderungen? Bessere Parameter-Effizienz, Code-Verständnis und Verarbeitung langer Kontexte.

In diesem Beitrag vergleichen wir ModernBERT mit zwei Modellen, die wir in- und auswendig kennen: jina-XLM-RoBERTa (das mehrsprachige Rückgrat hinter jina-embeddings-v3) und RoBERTa-large. Schauen wir uns jedes Modell an:

• ModernBERT (Dez. 2024) ist ein kürzlich veröffentlichtes SLM, das in Zusammenarbeit von Answer.AI, LightOn und HuggingFace entwickelt wurde. Es nutzt moderne Optimierungen wie RoPE für ein 8.192-Token-Kontextfenster und GeGLU-Layer, was die Leistung bei gleichbleibender Effizienz steigert.
• jina-XLM-RoBERTa (Sept. 2024) ist ein mehrsprachiges Text-Embedding-Modell basierend auf Metas XLM-RoBERTa. Während das ursprüngliche XLM-RoBERTa RoBERTa mithilfe des XLM-Multilingual-Datensatzes erweitert, geht jina-XLM-RoBERTa noch weiter mit erweitertem Kontext-Training, RoPE-Implementierung und FlashAttention-2-Unterstützung. Dieses Modell dient als Grundlage für jina-embeddings-v3.
• RoBERTa-large (Juli 2019), entwickelt von Meta, ist eine verbesserte Version von BERT mit 355 Millionen Parametern. Durch erweitertes Training, größere Datensätze und Innovationen wie dynamisches Masking hat es beeindruckende Ergebnisse bei wichtigen Benchmarks wie GLUE, SQuAD und RACE erzielt. Dies macht es gut geeignet für verschiedene NLP-Aufgaben von Textklassifizierung bis hin zu Frage-Antwort-Systemen.

Durch den Vergleich dieser Modelle in drei Kernaspekten möchten wir ModernBERTs effektive Designentscheidungen für andere Modellentwickler hervorheben und wichtige Entwicklungserkenntnisse für zukünftige BERT-ähnliche Modelle identifizieren. Wir werden auch unsere Erkenntnisse aus der Entwicklung von jina-embeddings-v3 teilen und geplante Verbesserungen für jina-embeddings-v4 und jina-reranker-v3 diskutieren.

tagModernBERTs Parameter-Effizienz

Betrachten wir zunächst ModernBERTs Ansatz zur Parameter-Effizienz - es bringt mehrere wichtige Erkenntnisse aus jüngsten LLM-Entwicklungen mit. ModernBERT nutzt drei Kernstrategien: eine tiefere aber dünnere Architektur, kontrollierte Vokabulargröße und progressives Model-Upscaling, beginnend mit kleineren Modellen.

tagDeep-And-Thin-Architektur

ModernBERT-large geht mit 28 Layern tiefer, während jina-XLM-RoBERTa und RoBERTa-large bei 24 bleiben. Aber hier kommt das Interessante - es entspricht RoBERTa-large in der Parameteranzahl trotz dieser zusätzlichen Layer. jina-XLM-RoBERTa benötigt mehr Parameter, da es 89 Sprachen verarbeitet, während sich die anderen beiden nur auf Englisch konzentrieren.

Die meisten Parameter eines Transformers kommen aus Attention- und Fully-Connected-Layern. ModernBERT bleibt größenmäßig wettbewerbsfähig, indem es "dünner" wird - sie verwenden 2.624 Hidden Units über 28 Layer, verglichen mit RoBERTa-larges 4.096 Units über 24 Layer. Dieser "tiefere" aber dünnere Aufbau ermöglicht es ihnen, ihre Leistungsziele zu erreichen, ohne das Modell aufzublähen.

Dieser Ansatz deckt sich mit Metas MobileLLM-Forschung, die herausfand, dass bei kleineren Modellen die Tiefe wichtiger ist als die Breite, wenn es um das Erfassen komplexer Muster und die Leistungssteigerung geht. Im Wesentlichen erweist sich die Fähigkeit, Informationen durch mehr Transformer-Layer zu verarbeiten, als wertvoller als breitere Layer für die parallele Verarbeitung.

Schauen wir uns die Daten zur Leistung dieser Deep-and-Thin-Architektur an.

Nehmen wir jina-XLM-RoBERTa - es baut auf RoBERTa-larges Shallow-Fat-Architektur auf, erhöht aber das Vokabular von 50K auf 250K Tokens und trainiert mit mehr Daten. Dennoch übertrifft ModernBERT es leicht, was darauf hindeutet, dass die architektonische Veränderung einen echten Unterschied in der Effizienz macht.

tagVokabulargröße ist wichtig

Schauen wir uns zunächst an, wie Vokabular-Parameter in Transformern gezählt werden. Für jeden Transformer gilt: Vokabular-Parameter = Anzahl unterschiedlicher Tokens × Hidden Size. Nehmen wir jina-XLM-RoBERTa: mit 250K Tokens und 1.024 Dimensionen benötigt es 256M Parameter allein für die Vokabular-Kodierung - bevor überhaupt Sprachaufgaben verarbeitet werden!

Aber hier ist der springende Punkt: Vokabulargewichte tragen nicht zu Attention-Mechanismen bei – sie sind nur Nachschlagetabellen. Für SLMs mit festem Parameterbudget bedeutet ein größeres Vokabular weniger verfügbare Parameter für Attention-Layer, die die eigentliche Sprachverarbeitung durchführen. Dies erklärt, warum das rein englischsprachige ModernBERT-large trotz geringerer Größe die mehrsprachige jina-XLM-RoBERTa übertrifft – jina-XLM-RoBERTa weist mehr Parameter (47 %!) zur Unterstützung mehrerer Sprachen zu. ModernBERTs fokussiertes Vokabular verbessert nicht nur die Leistung, sondern beschleunigt auch die Inferenz, was es besonders effektiv für ressourcenbeschränkte Anwendungen macht.

Wenn wir uns also nur die Kern-Modellparameter ansehen (ohne Vokabulargewichte), packt ModernBERT tatsächlich mehr Rechenleistung als seine Mitbewerber: ModernBERT widmet 19 % mehr Parameter der eigentlichen Sprachmodellierung als jina-XLM-RoBERTa und 15 % mehr als RoBERTa-large!

tagModell-Upscaling durch "Weight Tiling"

Beim Aufbau des jina-BERT-v2 Backbones stellten wir fest, dass das Training von SLMs von Grund auf ressourcenintensiv und komplex war. ModernBERT löst dies mit einem intelligenten Initialisierungsansatz namens Weight Tiling – im Wesentlichen wird ModernBERT-large aus den Gewichten seiner kleineren Basisversion hochskaliert.

Diese Technik ist nicht völlig neu – sie baut auf DeepMinds Arbeit mit Gopher auf und taucht auch in Microsofts Phi-2 Modellen auf. Ihre Anwendung hier ist jedoch besonders effektiv bei der Bewältigung des SLM-Trainingsengpasses.

Diese Initialisierungsstrategie verschafft ModernBERT-large einen signifikanten Vorteil – anstatt von Grund auf neu zu beginnen, nutzt es vorgelernter Muster seines kleineren Pendants. Dies hat sich als besonders effektiv für die Skalierung von Sprachmodellen in diesem Größenbereich erwiesen.

Wir stellen fest, dass ein warm gestartetes Modell sich schnell von einem anfänglich hohen Verlust (aufgrund der hinzugefügten Parameter) erholt und einen Verlust erreicht, der dem des Basismodells sehr nahe kommt. Wir können 417M Parameter um mehr als das 3-fache in der Größe erweitern und eine Leistung aufrechterhalten, die besser ist als ein vergleichbares frisches Modell, das von Grund auf bis zur Konvergenz trainiert wurde, was darauf hindeutet, dass die Gewinne nicht auf den Trainingsbeginn beschränkt waren. Bei größeren Dimensionen nehmen die relativen Gewinne bei der Konvergenz jedoch ab, insbesondere bei Erweiterungen in der Breite.

Das zyklische Gewichtsumwickeln ist nicht nur eine Bequemlichkeit – es passt gut zu der Art und Weise, wie Attention-Matrizen natürlich periodische Muster aufweisen. Gophers Forschung zeigt, dass dieser Ansatz besonders bei SLMs (unter 9B Parameter) glänzt, wobei die Vorteile bei größeren Modellen allmählich nachlassen.

tagModernBERTs Code-Modellierung

ModernBERT bringt mit seinem code-optimierten Tokenizer und Trainingsdaten einen spezialisierten Ansatz zum Codeverständnis. Diese Feinabstimmung für die Codeverarbeitung zahlt sich sowohl bei Verständnis- als auch bei Abrufaufgaben aus.

Wir führten einen Benchmark mit dem jina-embeddings-v2-code Corpus durch und verglichen drei Modelle als Backbones: ModernBERT, jina-XLM-RoBERTa und RoBERTa-large. Der Test? CodeSearchNet – Zuordnung von Textbeschreibungen zu Code-Snippets. ModernBERT übertraf beide Alternativen in allen Bereichen.

tagDer Tokenizer-Vorteil

Schauen wir uns an, warum ModernBERT Code so gut verarbeitet - es verwendet den OLMo Tokenizer, der speziell für Code trainiert wurde, anstelle der Standard-BERT/RoBERTa-Tokenizer.

Ein Tokenizer zerlegt UTF-8-Text in Tokens, die in Vektoren umgewandelt werden - diese verarbeitet das Modell tatsächlich. Während des Trainings lernt er, häufig vorkommende Zeichenfolgen zu einzelnen Tokens zu kombinieren. Der Unterschied? Ein Standard-Tokenizer könnte init in in + it aufteilen und dabei den Programmierkontext verpassen. Aber ModernBERTs codebewusster Tokenizer versteht es ohne Aufteilung.

Interessant wird es bei der Leerzeichenbehandlung: ModernBERT bewahrt Pythons führende Leerzeichen als einzelne Tokens und unterscheidet zwischen 4 und 8 Leerzeichen - entscheidend für die Code-Struktur. Währenddessen reduziert jina-XLM-RoBERTa alle aufeinanderfolgenden Leerzeichen auf ein einzelnes _, und RoBERTa-large behandelt jedes Leerzeichen als eigenes Token. Das bedeutet, dass ModernBERTs Encoder sauberere, aussagekräftigere Eingaben bei der Code-Verarbeitung erhält, während die anderen mit fragmentierten, weniger kohärenten Tokens arbeiten.

tagModernBERTs Verarbeitung langer Kontexte

ModernBERT hat bei der Verarbeitung langer Texte bedeutende Fortschritte gemacht, dank seines umfangreichen Trainingskorpus (300 Mrd. Tokens mit 8.192-Token-Proben) und fortgeschrittener Techniken wie kombinierter globaler und lokaler Aufmerksamkeit.

Zur Bewertung der Fähigkeiten zur Verarbeitung langer Dokumente verwendeten wir den MLDR-Datensatz - ein umfassender Langtext-Benchmark für 13 Sprachen. Da ModernBERT derzeit nur Englisch unterstützt, konzentrierten wir uns auf MLDRs englische Teilmenge, um ModernBERT mit jina-XLM-RoBERTa zu vergleichen. Während beide Modelle 8K-Token-Eingaben verarbeiten können, wurde RoBERTa-large aufgrund seiner 512-Token-Beschränkung, die für Langtextanalysen unzureichend ist, von diesem Benchmark ausgeschlossen.

ModernBERTs überlegene Leistung ist nicht nur auf sein umfangreiches Langtext-Training zurückzuführen - es liegt größtenteils an seiner innovativen Kombination von globalen und lokalen Aufmerksamkeitsmechanismen. Im Gegensatz zu jina-XLM-RoBERTa, das rechenintensive globale Aufmerksamkeit auf jede Schicht anwendet, verfolgt ModernBERT einen effizienteren Ansatz. Es wechselt zwischen globaler Aufmerksamkeit (verwendet in jeder dritten Schicht mit einem theta von 160.000) und lokaler Aufmerksamkeit (verwendet ein 128-Token-Schiebefenster mit einem theta von 100.000). Diese Hybridstrategie erhält hohe Leistung bei drastisch reduzierter Trainingszeit.

In ModernBERT verwendet jede dritte Schicht globale Aufmerksamkeit mit einem RoPE-Theta von 160.000 und die übrigen Schichten verwenden ein lokales 128-Token-Schiebefenster-Aufmerksamkeit mit einem RoPE-Theta von 10.000. —— ModernBERT

tagDie bittere Lektion?

Das Skalierungsgesetz und die bittere Lektion legen nahe, dass wesentliche Leistungsverbesserungen hauptsächlich durch die Erhöhung der Parameteranzahl und Trainingsdaten entstehen. Dieses Prinzip leitete unseren Ansatz, das Korpus zu erweitern und LoRA für aufgabenspezifische Anpassungen zu verwenden.

Allerdings hat ModernBERTs Erfolg gezeigt, dass wir die Kraft der architektonischen Optimierung unterschätzt haben. Es zeigt, dass SLMs durch bessere Daten-Modell-Effizienz außergewöhnliche Ergebnisse erzielen können, ohne unbedingt die Parameter zu skalieren. Ein kürzlicher Stella Embeddings technischer Bericht bestätigt diese Erkenntnis und zeigt, dass aktuelle Embedding-Modell-Trainingsmethoden ohne Vergrößerung von Korpus oder Modellgröße verbessert werden können.

In Zukunft erwarten wir geringere Rechenkosten und kleinere Modellgrößen, da wir tiefere Einblicke in die Datennutzung gewinnen und ModernBERTs Techniken implementieren. Kurzfristig können wir einfache Verbesserungen aus dem ModernBERT-Paper umsetzen - insbesondere die Integration von mehr codebezogenen Daten und die Adoption eines codefreundlichen Tokenizers. Komplexere Änderungen, wie der Wechsel zu einer deep-and-thin-Architektur oder das Bootstrapping großer Modelle aus kleineren, erfordern den Aufbau von Backbone-Modellen von Grund auf - eine mittelfristige Initiative.

Während ModernBERTs Effizienz bemerkenswert ist, weist seine Beschränkung auf Text auf zukünftige Herausforderungen hin. Mit der zunehmenden Popularität multimodaler Embedding-Modelle besteht unsere nächste Herausforderung darin, intelligentere, schnellere und leistungsfähigere Such-Grundlagenmodelle zu entwickeln, die Eingaben für multimodale Anwendungen verarbeiten können. Diese Anwendungen erfordern noch längere Kontextfenster - eine Effizienzherausforderung, die es noch zu lösen gilt.

tagFazit

In diesem Beitrag haben wir untersucht, wie ModernBERT BERT-Familie-Modelle durch drei Schlüsselinnovationen voranbringt: seine deep-and-thin-Architektur, optimierter Tokenizer und effiziente Skalierung mittels Weight Tiling. Diese Verbesserungen ermöglichen es ModernBERT, herausragende Leistung in einer relativ kompakten Größe zu liefern und dabei sowohl RoBERTa-large als auch jina-XLM-RoBERTa in verschiedenen Aufgaben zu übertreffen. ModernBERT zeigt, dass architektonische Verbesserungen wichtiger sein können als die Parametergröße und öffnet damit Türen für effizientere Modelle. Seine erfolgreiche Nutzung von Weight Tiling zeigt, wie progressives Skalieren die Trainingskosten reduzieren und gleichzeitig die Leistung erhalten oder sogar steigern kann. Zusätzlich deuten sein kompaktes Vokabular und gezielte Optimierungen auf wachsende Möglichkeiten für spezialisierte SLMs in ressourcenbeschränkten Umgebungen hin.