Die International Conference on Machine Learning ist eine der renommiertesten Konferenzen in der Machine Learning- und Künstliche-Intelligenz-Community und fand dieses Jahr vom 21. bis 27. Juli in Wien statt.
Die Konferenz war eine 7-tägige intensive Lernerfahrung mit Vorträgen und Gelegenheiten zum direkten Ideenaustausch mit anderen Forschern. Es gibt viele interessante Arbeiten im Bereich Reinforcement Learning, KI für Biowissenschaften, Representation Learning, Multi-modale Modelle und natürlich in den Kernbereichen der KI-Modellentwicklung. Besonders wichtig war das Tutorial über die Physik von Large Language Models, das die inneren Funktionsweisen von LLMs ausführlich untersuchte und überzeugende Antworten auf die Frage lieferte, ob LLMs Informationen memorieren oder logisches Denken anwenden, wenn sie Aussagen treffen.
tagUnsere Arbeit an Jina-CLIP-v1
Wir hielten eine Poster-Präsentation über die Arbeit hinter unserem neuen multi-modalen Modell jina-clip-v1 im Rahmen des Workshops Multi-modal Foundation Models meet Embodied AI.
Andreas Koukounas
Das Treffen und die Diskussion unserer Arbeit mit internationalen Kollegen aus vielen Bereichen war sehr inspirierend. Unsere Präsentation erhielt viel positives Feedback, wobei viele Menschen sich für die Art und Weise interessierten, wie Jina CLIP multi-modale und uni-modale kontrastive Lernparadigmen vereint. Die Diskussionen reichten von den Grenzen der CLIP-Architektur über Erweiterungen auf zusätzliche Modalitäten bis hin zu Anwendungen im Peptid- und Protein-Matching.
Michael Günther präsentiert Jina CLIP
tagUnsere Favoriten
Wir hatten die Gelegenheit, viele Projekte und Präsentationen anderer Forscher zu diskutieren. Hier sind einige unserer Favoriten:
tagPlan Like a Graph (PLaG)
Viele kennen "Few-Shot Prompting" oder "Chain of Thought Prompting". Fangru Lin präsentierte auf der ICML eine neue und bessere Methode: Plan Like a Graph (PLaG).
Ihre Idee ist einfach: Eine Aufgabe, die einem LLM gegeben wird, wird in Teilaufgaben zerlegt, die ein LLM entweder parallel oder sequentiell lösen kann. Diese Teilaufgaben bilden einen Ausführungsgraphen. Die Ausführung des gesamten Graphen löst die übergeordnete Aufgabe.
Im obigen Video erklärt Fangru Lin die Methode anhand eines leicht verständlichen Beispiels. Beachten Sie, dass LLMs trotz dieser Verbesserung immer noch unter drastischer Leistungsabnahme leiden, wenn die Aufgabenkomplexität zunimmt. Dennoch ist es ein wichtiger Schritt in die richtige Richtung und bietet unmittelbare praktische Vorteile.
Für uns ist es interessant zu sehen, wie ihre Arbeit Parallelen zu unseren Prompt-Anwendungen bei Jina AI aufweist. Wir haben bereits eine graphenähnliche Prompt-Struktur implementiert, aber die dynamische Generierung eines Ausführungsgraphen, wie sie es gemacht hat, ist eine neue Richtung, die wir erkunden werden.
tagEntdeckung von Umgebungen mit XRM
Diese Arbeit präsentiert einen einfachen Algorithmus zur Entdeckung von Trainingsumgebungen, die ein Modell dazu bringen können, sich auf Merkmale zu verlassen, die zwar mit den Labels korrelieren, aber keine genaue Klassifizierung/Relevanz erzeugen. Ein bekanntes Beispiel ist der Waterbirds-Datensatz (siehe arXiv:1911.08731), der Fotos von Vögeln vor verschiedenen Hintergründen enthält, die entweder als Wasservögel oder Landvögel klassifiziert werden sollen. Während des Trainings erkennt der Klassifikator, ob der Hintergrund in den Bildern Wasser zeigt oder nicht, anstatt sich auf die Merkmale der Vögel selbst zu verlassen. Ein solches Modell wird Wasservögel falsch klassifizieren, wenn sich kein Wasser im Hintergrund befindet.
Um dieses Verhalten zu mindern, muss man Proben erkennen, bei denen sich das Modell auf irreführende Hintergrundmerkmale stützt. Dieses Paper stellt den XRM-Algorithmus vor, um dies zu erreichen.
Der Algorithmus trainiert zwei Modelle auf zwei verschiedenen Teilen des Trainingsdatensatzes. Während des Trainings werden die Labels einiger Proben umgekehrt. Dies geschieht speziell dann, wenn das andere Modell (das nicht auf der jeweiligen Probe trainiert wurde) eine Probe anders klassifiziert. Auf diese Weise werden die Modelle ermutigt, sich auf irreführende Korrelationen zu verlassen. Anschließend können Sie Proben aus den Trainingsdaten extrahieren, bei denen sich ein von einem der Modelle vorhergesagtes Label vom Ground Truth unterscheidet. Später kann man diese Information nutzen, um robustere Klassifikationsmodelle zu trainieren, zum Beispiel mit dem Group DRO Algorithmus.
tagReduzieren Sie Ihre LLM-Evaluierungskosten um den Faktor 140!
Ja, Sie haben richtig gehört. Mit diesem einen Trick können die Kosten der LLM-Evaluierung auf einen winzigen Bruchteil reduziert werden.
Die Kernidee ist einfach: Entfernen Sie alle Evaluierungsbeispiele, die die gleiche Modellfähigkeit testen. Die Mathematik dahinter ist weniger geradlinig, wird aber von Felipe Maia Polo, der seine Arbeit während der Poster-Session vorstellte, gut erklärt. Beachten Sie, dass die Reduzierung um den Faktor 140 für den populären MMLU-Datensatz (Massive Multitask Language Understanding) gilt. Für Ihre eigenen Evaluierungsdatensätze hängt es davon ab, wie stark die Evaluierungsergebnisse der Proben miteinander korrelieren. Vielleicht können Sie viele Proben überspringen oder nur wenige.
Probieren Sie es einfach aus. Wir werden Sie auf dem Laufenden halten, wie stark wir bei Jina AI die Evaluierungsbeispiele reduzieren konnten.
tagKontrastierung multipler Repräsentationen mit der Multi-Marginal Matching Gap
Diese Arbeit behandelt eine häufige Herausforderung im kontrastiven Lernen: Die meisten kontrastiven Verlustfunktionen wie der InfoNCE-Loss arbeiten mit Datenpaaren und messen den Abstand zwischen positiven Paaren. Um auf positive Tupel der Größe k > 2 zu erweitern, versucht kontrastives Lernen üblicherweise, das Problem auf mehrere Paare zu reduzieren und paarweise Verluste für alle positiven Paare zu akkumulieren. Die Autoren schlagen hier den M3G (Multi-Marginal Matching Gap) Loss vor, eine modifizierte Version des Sinkhorn-Algorithmus, der das Multi-Marginale Optimale Transport-Problem löst. Diese Verlustfunktion kann in Szenarien verwendet werden, in denen die Datensätze aus positiven Tupeln mit Größe k > 2 bestehen, zum Beispiel >2 Bilder desselben Objekts, multimodale Probleme mit drei oder mehr Modalitäten oder eine SimCLR-Erweiterung mit drei oder mehr Augmentierungen desselben Bildes. Empirische Ergebnisse zeigen, dass diese Methode die naive Reduktion des Problems auf Paare übertrifft.
tagKeine Ground Truth erforderlich!
Zachary Robertson von der Stanford University präsentierte seine Arbeit zur Evaluierung von LLMs ohne gelabelte Daten. Beachten Sie, dass dies zwar theoretische Arbeit ist, aber ein großes Potenzial für die skalierbare Überwachung fortgeschrittener KI-Systeme hat. Dies ist nichts für gelegentliche LLM-Nutzer, aber wenn Sie an LLM-Evaluierung arbeiten, sollten Sie sich definitiv damit beschäftigen. Wir sehen bereits, dass wir unsere Agenten bei Jina AI auf diese Weise evaluieren könnten. Wir werden die Ergebnisse teilen, sobald wir die ersten Experimente durchgeführt haben.
tagIst Modellkollaps unvermeidlich? Durchbrechen des Rekursionsfluchs durch Akkumulation realer und synthetischer Daten
Mehrere Artikel (wie dieser Nature Artikel) haben kürzlich vorhergesagt, dass die Leistung neu trainierter Modelle mit der Zeit schlechter werden könnte, da die aus dem Web gecrawlten Trainingsdaten einen zunehmend hohen Anteil an synthetischen Daten enthalten.
Unser Kollege Scott Martens hat auch einen Artikel über Model Collapse veröffentlicht und Fälle diskutiert, in denen synthetische Daten für das Modelltraining nützlich sein können.
Modelltraining-Durchläufe könnten kollabieren, weil die Trainingsdaten von einer früheren Version des Modells oder einem Modell produziert wurden, das mit denselben Daten trainiert wurde. Diese Studie zeigt durch Experimente ein etwas anderes Bild: Ein Kollaps tritt nur auf, wenn echte Daten durch synthetische ersetzt werden, wie es in früheren Experimenten gemacht wurde. Wenn jedoch echte Daten mit zusätzlichen synthetischen Daten ergänzt werden, gibt es keine messbare Veränderung in der Leistung der resultierenden Modelle. Diese Ergebnisse deuten darauf hin, dass so etwas wie ein Model Collapse nicht eintreten wird. Es beweist jedoch erneut, dass die Verwendung zusätzlicher synthetischer Daten nicht hilft, ein Modell zu trainieren, das dem Modell, das zur Erstellung dieser synthetischen Datenpunkte verwendet wurde, allgemein überlegen ist.
tagGehirnchirurgie für KI ist jetzt möglich
Angenommen, Sie möchten den Beruf einer Person vorhersagen, aber nicht ihr Geschlecht. Diese Arbeit von Google Research, ETH Zürich, International Institute of Information Technology Hyderabad (IIITH) und Bar-Ilan University zeigt, wie Steering-Vektoren und Kovarianz-Matching zur Kontrolle von Bias eingesetzt werden können.
tagMagicLens - Selbstüberwachtes Bildsuchsystem mit offenen Anweisungen
Diese Arbeit stellt die MagicLens-Modelle vor, eine Reihe von selbstüberwachten Bildsuchmodellen, die auf Tripeln aus Abfragebild + Anweisung + Zielbild trainiert wurden.
Die Autoren stellen eine Datenerstellungs-/Kuratierungspipeline vor, die Bildpaare aus dem Web sammelt und LLMs verwendet, um offene Textanweisungen zu synthetisieren, die die Bilder mit verschiedenen semantischen Beziehungen jenseits bloßer visueller Ähnlichkeit verknüpfen. Diese Pipeline wird verwendet, um 36,7 Millionen qualitativ hochwertige Tripel über eine breite Verteilung zu erzeugen. Der Datensatz wird dann verwendet, um eine einfache Dual-Encoder-Architektur mit gemeinsamen Parametern zu trainieren. Die Backbone Vision- und Language-Encoder werden entweder mit CoCa- oder CLIP-Base- und Large-Varianten initialisiert. Ein einzelner Multi-Head-Attention-Pooler wird eingeführt, um die beiden multimodalen Eingaben in ein einziges Embedding zu komprimieren. Das Trainingsziel kontrastiert das Abfragebild und die Anweisungspaar mit dem Zielbild und der leeren Zeichenkettenanweisung mit einem einfachen InfoNCE-Loss, um MagicLens zu trainieren. Die Autoren präsentieren Evaluierungsergebnisse zur anweisungsbasierten Bildsuche.
tagPrompt Sketching - Die neue Art des Prompting
Die Art und Weise, wie wir LLMs prompten, verändert sich. Prompt Sketching ermöglicht es uns, generativen Modellen feste Einschränkungen zu geben. Anstatt nur eine Anweisung zu geben und zu hoffen, dass das Modell das tut, was Sie möchten, definieren Sie eine vollständige Vorlage, die das Modell zwingt, das zu generieren, was Sie möchten.
Verwechseln Sie dies nicht mit LLMs, die darauf trainiert wurden, ein strukturiertes JSON-Format bereitzustellen. Bei dem Fine-Tuning-Ansatz hat das Modell immer noch die Freiheit zu generieren, was es möchte. Nicht so beim Prompt Sketching. Es bietet einen völlig neuen Werkzeugkasten für Prompt Engineers und eröffnet Forschungsbereiche, die noch erkundet werden müssen. Im obigen Video erklärt Mark Müller im Detail, worum es bei diesem neuen Paradigma geht.
Sie können auch ihr Open-Source-Projekt LMQL ausprobieren.
tagRepoformer - Selektives Retrieval für Repository-Level Code Completion
Für viele Anfragen hilft RAG dem Modell nicht wirklich, weil die Anfrage entweder zu einfach ist oder das Retrieval-System keine relevanten Dokumente finden kann, möglicherweise weil es keine gibt. Dies führt zu längeren Generierungszeiten und geringerer Leistung, wenn sich das Modell auf irreführende oder fehlende Quellen verlässt.
Diese Arbeit adressiert das Problem, indem sie LLMs ermöglicht, selbst zu evaluieren, ob Retrieval nützlich ist. Sie demonstrieren diesen Ansatz an einem Code-Completion-Modell, das darauf trainiert ist, eine Lücke in einer Code-Vorlage zu füllen. Für eine gegebene Vorlage entscheidet das System zunächst, ob Retrieval-Ergebnisse nützlich sind und ruft gegebenenfalls den Retriever auf. Schließlich generiert das Code-LLM den fehlenden Kontext, unabhängig davon, ob Retrieval-Ergebnisse zu seinem Prompt hinzugefügt wurden oder nicht.
tagDie Platonische Repräsentationshypothese
Die Platonische Repräsentationshypothese argumentiert, dass neuronale Netzwerkmodelle dazu tendieren, zu einer gemeinsamen Repräsentation der Welt zu konvergieren. In Anlehnung an Platons Ideenlehre, die Vorstellung, dass es eine Welt der "Ideale" gibt, die uns nur in verzerrter Form erscheint und die wir nur indirekt beobachten können, behaupten die Autoren, dass unsere KI-Modelle zu einer einzigen Repräsentation der Realität zu konvergieren scheinen, unabhängig von Trainingsarchitektur, Trainingsdaten oder sogar Eingabemodalität. Je größer der Datenumfang und die Modellgröße, desto ähnlicher scheinen ihre Repräsentationen zu werden.
Die Autoren betrachten Vektorrepräsentationen und messen die Ausrichtung der Repräsentationen mithilfe von Kernel-Alignment-Metriken, insbesondere einer Mutual-Nearest-Neighbor-Metrik, die die mittlere Schnittmenge der k-nächsten Nachbarmengen misst, die von zwei Kernels, K1 und K2, induziert werden, normalisiert durch k. Diese Arbeit präsentiert empirische Belege dafür, dass die Kernels umso stärker ausgerichtet sind, je größer die Modell- und Datensatzgrößen werden und je besser die Leistung wird. Diese Ausrichtung lässt sich auch beim Vergleich von Modellen unterschiedlicher Modalitäten beobachten, wie Text- und Bildmodellen.
tagZusammenfassung
Die anfängliche Begeisterung für das Scaling-Law beginnt zwar nachzulassen, aber die ICML 2024 hat gezeigt, dass so viele neue, vielfältige, kreative Talente in unser Fachgebiet eingetreten sind, dass wir sicher sein können, dass der Fortschritt noch lange nicht zu Ende ist.
Wir hatten eine großartige Zeit bei der ICML 2024 und Sie können sicher sein, dass wir 2025 wieder dabei sein werden 🇨🇦.
