Fast-WAM: Galaxea stellt gemeinsam mit Yann LeCuns neuester Arbeit ein High-Speed World Action Model vor und definiert das Paradigma der Weltmodelle neu
Galaxea hat mit Fast-WAM einen neuen Forschungsdurchbruch bei Weltmodellen für die Robotik vorgestellt.
Als weiterer Meilenstein bei den sogenannten World Action Models (WAMs) überwindet Fast-WAM das traditionelle und ineffiziente „erst vorstellen, dann handeln“-Paradigma. Durch die grundlegende Neugestaltung der zugrunde liegenden Modellarchitektur wird einer der langjährigen Engpässe der verkörperten KI angegangen: die Latenz.
Der Durchbruch löste schnell Diskussionen in der KI-Community aus. Saining Xie, Assistenzprofessor an der New York University und maßgeblich an Diffusion-Transformern (DiT) beteiligt, würdigte die Arbeit ebenfalls und empfahl Fast-WAM zusammen mit LeWorldModel, dem neuesten Werk des Turing-Preisträgers Yann LeCun.
Die Aufmerksamkeit führender KI-Experten unterstreicht, wie direkt Fast-WAM eine der kritischsten Herausforderungen beim Einsatz von verkörperten Weltmodellen adressiert.
Jahrelang galt die gängige Annahme, dass WAMs während der Inferenz zukünftige Videobilder generieren müssen, was Roboter in einen ineffizienten „erst denken, dann handeln“-Workflow zwang. Mit Fast-WAM demonstriert Galaxea, dass die Stärke eines Weltmodells in seiner Fähigkeit liegt, die Welt durch Video zu modellieren, statt Videos während der Inferenzzeit zu generieren.
Diese Erkenntnis beseitigt eine erhebliche Rechenlast und reduziert die Latenz pro Schritt auf nur 190 Millisekunden. Fast-WAM liefert eine mehr als 4-mal schnellere Inferenz bei gleichbleibender State-of-the-Art (SOTA)-Leistung. Das Erscheinen markiert einen wichtigen Schritt in Richtung Echtzeit-Robotersteuerung mit Weltmodellen und ebnet den Weg für den großflächigen industriellen Einsatz verkörperter KI.
Paper: https://arxiv.org/abs/2603.16666
Projekt-Website: https://yuantianyuan01.github.io/FastWAM/
1. Technische Kerndurchbrüche bei Weltmodellen: Training und Inferenz
Als Pionier auf dem Gebiet der verkörperten KI nähert sich das Galaxea-Team etablierten technischen Richtungen – einschließlich Vision-Language-Action (VLA)-Modellen und Weltmodellen – mit wissenschaftlicher Genauigkeit und versucht, deren zugrunde liegende Prinzipien durch sorgfältig konzipierte Experimente aufzudecken.
Die meisten gängigen WAMs folgen einem „erst vorstellen, dann handeln“-Paradigma. Bei einer gegebenen Beobachtung führt das Modell zuerst ein Videodiffusionsmodul durch iterative Entrauschung aus, um mehrere zukünftige Bilder vorherzusagen, und generiert dann Aktionen basierend auf diesen vorgestellten visuellen Beobachtungen. Obwohl intuitiv, hat dieser Ansatz einen großen praktischen Nachteil: Die Videogenerierung ist rechenintensiv. Wiederholte Entrauschungsiterationen können die Inferenzlatenz auf Hunderte von Millisekunden ansteigen lassen, was es schwierig macht, die Echtzeit-Reaktionsanforderungen von Robotern zu erfüllen.
Fast-WAM wurde entwickelt, um Training und Inferenz zu trennen – zwei Prozesse, die oft eng miteinander verknüpft sind.
- Training — gemeinsames Modellieren: Fast-WAM behält das Video-Co-Training bei, wodurch das visuelle Modul physikalische Dynamiken und räumliche Interaktionsmuster erlernen kann.
- Inferenz — Verzicht auf Generierung: Während der Aufgabenausführung umgeht Fast-WAM den redundanten Vorhersagezweig. Anstatt iterative Entrauschung durchzuführen, extrahiert es latente Weltrepräsentationen in einem einzigen Vorwärtsdurchlauf und erfasst so die zugrunde liegende physikalische Dynamik.
Diese Entkopplung demonstriert ein tieferes Verständnis der Funktionsweise von Weltmodellen und spiegelt das Engagement des Teams wider, die algorithmische Effizienz zu maximieren.
2. Experimentelle Ergebnisse: 190 ms Inferenzlatenz und mehr als 4-mal schnellere Inferenz
Leistung hängt letztlich von experimentellen Belegen ab. Fast-WAM liefert überzeugende Ergebnisse beim RoboTwin 2.0-Benchmark für bimanuelles Manipulieren, dem LIBERO-Benchmark für langfristige Aufgaben und einer realen Handtuchfaltaufgabe.
Das Team führte drei Gruppen kontrollierter Experimente durch, darunter Varianten, die den Videogenerierungszweig beibehielten, Videos vor den Aktionen generierten oder das Videotraining entfernten. Zusammen zeigen diese Experimente die Vorteile des Fast-WAM-Ansatzes.
- Mehr als 4-mal schnellere Inferenz: Fast-WAM erreicht eine Inferenzlatenz pro Schritt von nur 190 Millisekunden, verglichen mit etwa 800 Millisekunden bei herkömmlichen WAMs. Diese wesentliche Reduzierung der Latenz macht Fast-WAM besser geeignet für die Anforderungen der Echtzeit-Robotersteuerung.
- SOTA-Leistung unter führenden Weltmodellen: Beim RoboTwin 2.0-Benchmark für bimanuelles Manipulieren und dem LIBERO-Benchmark für langfristige Aufgaben erreicht Fast-WAM Erfolgsraten, die mit den stärksten Weltmodellen vergleichbar sind, auch ohne während der Inferenz zukünftige Videos zu generieren.
- Validierung in der realen Welt: Bei der anspruchsvollen Aufgabe des Handtuchfaltens demonstriert Fast-WAM starke physikalische Modellierungsfähigkeiten bei der Interaktion mit verformbaren Objekten, was sein praktisches Potenzial für komplexe Manipulationen in der realen Welt unterstreicht.
Mit Fast-WAM hat Galaxea den Ansatz der Weltmodelle grundlegend neu durchdacht. Durch den Verzicht auf den redundanten Zweig zur Generierung zukünftiger Videosequenzen wird eine wesentliche Einschränkung von Weltmodellen bei der Echtzeitsteuerung adressiert. Noch wichtiger ist, dass dieser Wandel Auswirkungen auf den breiteren Bereich der verkörperten KI (Embodied AI) hat, die weit über die reine Inferenzgeschwindigkeit hinausgehen.
Fast-WAM stellt die lang gehegte Annahme infrage, dass Weltmodelle zukünftige Videosequenzen generieren müssen. Es zeigt, dass physikalisches Verständnis von einer hochlatenzbehafteten Generierung entkoppelt werden kann. Durch die Bereitstellung einer führenden Leistung mit einer Inferenzlatenz von nur 190 Millisekunden trägt Fast-WAM dazu bei, Bereitstellungshürden für Weltmodelle in latenzempfindlichen Anwendungen wie der Roboterarm-Manipulation und der industriellen Automatisierung abzubauen. Dies eröffnet neue Möglichkeiten für fortschrittliche Richtlinien, die zuvor durch Rechenkosten und Reaktionszeiten eingeschränkt waren, um sich aus dem Labor in Richtung großflächiger industrieller Anwendung zu bewegen.
Fast-WAM ist für Galaxea mehr als nur ein weiterer Fortschritt in der algorithmischen Effizienz. Es spiegelt auch die breitere technische Philosophie des Teams wider. Anstatt blind vorherrschenden Paradigmen zu folgen oder einfach die Rechenressourcen hochzuskalieren, versucht Galaxea, die fundamentalen Prinzipien der verkörperten Intelligenz durch eine rigorose Analyse der zugrunde liegenden Mechanismen aufzudecken und den fundamentalsten Weg für deren Evolution zu finden.
Entdecken Sie den technischen Bericht zu Fast-WAM:
0 Kommentare