Galaxea G0.5: Ein embodied Foundation-Modell der nächsten Generation, das es Robotern ermöglicht, während des Handelns zu denken

Früher, wenn einem Roboter der Befehl „Leg das Handtuch ins Waschbecken“ gegeben wurde, konnte er nur eine vordefinierte Abfolge von Aktionen ausführen. Mit G0.5 kann der Roboter nun die Aufgabe logisch durchdringen: Wo ist das Handtuch? Wo ist das Waschbecken? Er muss das Handtuch aufheben, sich zum Waschbecken bewegen und es dann hineinlegen. Er denkt während er handelt.

Diese Fähigkeit wird durch unsere neueste Vision-Language-Action (VLA) Architektur ermöglicht. Indem G0.5 ein einzelnes Modell mit einem einzigen Satz an Gewichten in die Lage versetzt, sowohl das Schlussfolgern als auch die Aktionsgenerierung zu handhaben, gibt es Robotern die Fähigkeit, während des Handelns zu denken.

1. Von der Sprache zur Aktion: Zero-Shot-Generalisierung auf neue Objekte, Umgebungen und Anweisungen

Auf dem R1 Lite Roboter kann G0.5 Manipulationsaufgaben direkt aus natürlichsprachlichen Anweisungen ausführen, ohne dass eine Feinabstimmung für die Zielumgebung erforderlich ist. Selbst wenn das Modell die aktuelle Umgebungsanordnung, Objektkategorien oder Befehlskombinationen noch nie zuvor angetroffen hat, kann es die Aufgabe interpretieren, sie in Teilaufgaben zerlegen und in Echtzeit eine flüssige bimanuelle Steuerung generieren.

 Dies ist die sofort einsatzbereite Fähigkeit von G0.5 in der Praxis: ein Modell, eine Anweisung, und der Roboter macht sich an die Arbeit.

2. Vom Auswendiglernen von Aufgaben zum Erlernen der Manipulation

Traditionell bedeutet das Anlernen einer neuen Aufgabe für einen Roboter oft, neue Daten zu sammeln, das Modell fein abzustimmen und es an die Zielumgebung anzupassen. Roboter mögen bei Aufgaben, auf die sie trainiert wurden, gute Leistungen erbringen, tun sich jedoch schwer damit, auf unbekannte Objekte, Umgebungen und Anweisungen zu generalisieren.

Durch groß angelegtes Multitasking-Vortraining haben wir G0.5 in die Lage versetzt, übertragbare und kombinierbare Manipulationsfähigkeiten zu entwickeln. Grundlegende Fähigkeiten wie Greifen, Platzieren, Schieben, Ziehen, Öffnen, Schließen und Bewegen sind keine festen, an einzelne Aufgaben gebundenen Schritte mehr. Stattdessen werden sie zu wiederverwendbaren Bausteinen, die das Modell kombinieren kann, um neue Situationen zu bewältigen.

Wenn G0.5 mit unbekannten Szenen, räumlichen Anordnungen und zuvor nicht gesehenen Objekten konfrontiert wird, kann es direkt auf natürlichsprachliche Anweisungen reagieren. Roboter beginnen, während des Handelns zu denken.

3. Drei Kernfähigkeiten, die es Robotern ermöglichen, während des Handelns zu denken

3.1 Ein vereinheitlichter heterogener Aktionstokenizer: Eine Aktionssprache für verschiedene Robotertypen

Roboter unterscheiden sich stark in Morphologie, Freiheitsgraden und Steuerungsfrequenz. Bimanuelle Humanoide, mobile Manipulationsplattformen und einarmige Industrieroboter haben alle unterschiedliche Aktionsdimensionen.

Bestehende Ansätze verfolgen oft einen von zwei Wegen. Der eine besteht darin, für jede Ausprägung einen separaten Prozess zu entwickeln – beispielsweise die Verwendung eines festen DCT-basierten Prozesses in FAST, um Aktionen unabhängig für verschiedene Ausprägungen zu diskretisieren. Der andere besteht darin, alle Freiheitsgrade vor der Quantisierung in einen einzigen langen Vektor zu flachen.

Beide Ansätze haben Einschränkungen. Der erste erschwert den Wissensaustausch zwischen den Ausprägungen. Der zweite führt dazu, dass die Anzahl der Token linear mit der Gesamtzahl der Freiheitsgrade wächst. Selbst wenn sich nur ein Finger bewegen muss, muss das Modell möglicherweise dennoch Token für jedes Gelenk generieren. Dies erzeugt unnötigen Overhead und führt zu verflochtenen Aktionsrepräsentationen, die schwerer über Aufgaben und Ausprägungen hinweg zu übertragen sind.

G0.5 Aktionstokenizer

Wir sind der Meinung, dass Aktionstoken sowohl strukturiert als auch dünn besetzt (sparse) sein sollten, ähnlich wie Sprache.

Um dies zu erreichen, haben wir einen vereinheitlichten heterogenen Aktionstokenizer entwickelt. Mit einem gemeinsamen Aktionsvokabular kann G0.5 eine breite Palette von Ausprägungen darstellen, von der bimanualen Manipulation am Tisch bis zur ganzkörperlichen mobilen Manipulation. Gleichzeitig bleibt der zusätzliche Overhead der autoregressiven Dekodierung überschaubar.

Dieses Design ist der Schlüssel dazu, das Vision-Language-Modell (VLM) wieder in die Rolle eines Aktionsgenerators zu versetzen, anstatt es auf einen konditionalen Encoder zu reduzieren.

3.2 Native Action Chain-of-Thought: Robotern das Schlussfolgern über Handlungen ermöglichen

Ein einheitliches Aktionsvokabular erlaubt es uns, das VLM wieder in den Mittelpunkt der Aktionsgenerierung zu stellen. Der eigentliche Vorteil besteht darin, dass die während des VLM-Vortrainings erlernten generativen Fähigkeiten – einschließlich Chain-of-Thought-Schlussfolgerung, In-Context-Learning und prompt-basierter Steuerung – direkt auf die Aktionsgenerierung angewendet werden können, ohne das Informations-Bottleneck der VLM-als-Encoder-Architektur zu durchlaufen.

Bei vielen bestehenden Ansätzen wird Chain-of-Thought (CoT) nur als zusätzliches Trainingsziel verwendet. Schlussfolgerung und Aktionsgenerierung werden in verschiedene Parametersätze und Ziele getrennt. Damit die Schlussfolgerung die Aktion beeinflussen kann, muss ihre Ausgabe zuerst in eine latente Repräsentation komprimiert und an einen nachgelagerten Aktions-Experten weitergegeben werden. Dies führt zu potenziellem Verlust an semantischen Informationen und macht die Latenz weniger vorhersehbar.

Wir verfolgen einen anderen Ansatz: die Integration von CoT und Aktionsgenerierung in einen einzigen autoregressiven Strom. Das Modell generiert zuerst Schlussfolgerungsergebnisse – einschließlich der Zerlegung in Teilaufgaben, Begrenzungsrahmen für Zielobjekte und Hinweise auf 2D-Trajektorien – und generiert dann Aktionstoken.

Dieses Design bietet zwei deutliche, messbare Vorteile.

  • Zero-Shot-Zerlegung von Langzeitaufgaben

Haushaltsaufgaben in Benchmarks wie BEHAVIOR-1K erfordern, dass natürlichsprachliche Anweisungen in Dutzende von Teilaufgaben zerlegt werden. Mit nur einer Trainings-Epoche übertrifft ein einzelner G0.5-Checkpunkt π0.5, das über vier Epochen trainiert wurde, sowie die herausragende Lösung, die aus vier Checkpunkten besteht. G0.5 kann Teilaufgaben auch in Zero-Shot-Manier in Haushaltsaufgaben zerlegen, die außerhalb seiner Vortrainingsverteilung liegen.

  • Echtzeit-Verhaltenssteuerung durch Sprache

Da Prompts in denselben autoregressiven Strom wie Aktionstoken gelangen, kann natürliche Sprache die Aktionsverteilung des Modells während der Inferenzzeit kontinuierlich formen, ohne dass ein Nachtraining erforderlich ist.

Betrachten wir die Aufgabe, einen Toaster einzuschalten. Da der Schalter einen relativ langen Druck erfordert, wendet das Modell möglicherweise nicht genug Abwärtsdruck an, wenn es nur angewiesen wird, „den Schalter einzuschalten“. Das Hinzufügen von „drück fester“ zur Anweisung führt dazu, dass das Modell die Abwärtskraft erhöht und den Schalter erfolgreich aktiviert.

G0.5 führt die Aufgabe, ein Handtuch in ein Waschbecken zu legen, Zero-Shot auf dem R1 Lite aus. Innerhalb desselben autoregressiven Stroms generiert das Modell zuerst Schlussfolgerungsergebnisse, einschließlich Teilaufgaben und Begrenzungsrahmen für Zielobjekte, bevor es Aktionstoken generiert. Es plant kontinuierlich basierend auf Beobachtungen aus jedem Frame neu.

3.3 Spatiotemporale Aufmerksamkeit: Robotern kontextbewusste Wahrnehmung geben

Komplexe Haushaltsaufgaben lassen sich nicht zuverlässig durch reflexartige Reaktionen auf einen einzelnen Frame lösen. Wenn die Sicht eines Roboters kurzzeitig durch seinen eigenen Arm blockiert wird oder ein unerwarteter Fehler auftritt, benötigt er historischen Kontext, um ein konsistentes Verständnis der Szene aufrechtzuerhalten.

G0.5 enthält ein leichtgewichtiges spatiotemporales Aufmerksamkeitsmodul, das mehrere Sekunden der visuellen Historie zusammenführt. Dies ermöglicht es dem Modell, auch dann robuster zu operieren, wenn Teile seines unmittelbaren Sichtfelds vorübergehend nicht verfügbar sind.

Experimente zeigen, dass G0.5, unterstützt durch während des Vortrainings erlernte Wahrnehmungspriors, bei Langzeitaufgaben von BEHAVIOR-1K wie dem Bewegen einer Kiste in einen Abstellraum, dem Beladen eines Fahrzeugs, dem Tragen von Brennholz und dem Aufräumen eines Schlafzimmers konstant π0.5 übertrifft.

4. Starke Ergebnisse in sieben Bewertungsszenarien

G0.5 demonstriert eine führende Leistung in sieben unabhängigen Bewertungsszenarien, wobei die wichtigsten Ergebnisse im Folgenden zusammengefasst sind:

 

Evaluierungen zur Feinabstimmung in der realen Welt: Über sechs Aufgaben-Ausprägungs-Konfigurationen auf den R1 Pro und R1 Lite Plattformen liefert G0.5 (dunkelorange) wesentlich stärkere Gesamtergebnisse als π0.5 und GR00T-N1.7, sowohl bei den Erfolgsquoten der Aufgaben als auch bei den Prozessbewertungen.

DROID Zero-Shot-Evaluierung: Ohne jegliche Feinabstimmung auf dem Zielroboter erreicht G0.5 eine durchschnittliche Erfolgsquote von 82,5 % über 10 Tischmanipulationsaufgaben. Es übertrifft sowohl π0.5-DROID als auch MolmoAct2-DROID bei jeder bewerteten Aufgabe.

Pick-and-Place-Benchmark: Von der Zero-Shot-Evaluierung bis zu 50 Stunden Nachtraining übertrifft G0.5 (dunkle Balken) π0.5 über alle bewerteten Datenskalen hinweg, sowohl bei der Rate der Sprachbefolgung als auch bei der Aufgabenerfolgsquote.

Zusammengenommen verdeutlichen diese Ergebnisse mehrere wichtige Fähigkeiten.

  • Groß angelegtes Vortraining baut grundlegende Fähigkeiten für ein Embodied Foundation Model auf. Mit leichtgewichtigem Nachtraining übertrifft G0.5 π0.5 bei sieben Benchmarks und erreicht State-of-the-Art (SOTA)-Ergebnisse in den berichteten Evaluierungen, was die Wirksamkeit dieses Vortrainingsansatzes bestätigt.

  • Zero-Shot, sofort einsatzbereite Generalisierung: Zero-Shot-Experimente auf DROID (Franka) und PP Bench (R1 Lite) zeigen, dass die vortrainierten Fähigkeiten von G0.5 direkt auf kompatible Roboterplattformen und eine zuvor nicht gesehene Umgebung übertragen werden können.

  • Generalisierung bei Einzelmodellen und Leistungsvorteile: Über die 50 langhorizontigen mobilen Manipulationsaufgaben der BEHAVIOR-1K Challenge hinweg erreicht G0.5 mit einem einzigen Satz an Modellgewichten bereits nach nur einer Epoche des Post-Trainings einen Score von 0,29 und übertrifft damit sowohl das gewinnende Multi-Modell-Ensemble der Challenge als auch π0.5 deutlich. Nach vier Epochen steigt der Score auf 0,31, was weitere Leistungssteigerungen belegt, wobei G0.5 bei mehr als der Hälfte der Aufgaben die Basismodelle übertrifft.

  • Vortrainierte Repräsentationen überwinden Engpässe bei langhorizontigen Aufgaben: Diese Ergebnisse zeigen direkt, dass vortrainierte Priors, die auf strukturierten Aktionsräumen und visuellem Gedächtnis basieren, eine zentrale Rolle dabei spielen, die Lücke bei der mobilen Manipulation mit langem Horizont zu schließen und eine effiziente Generalisierung zu ermöglichen.

5. Fazit: Von der Ausführung von Aktionen zum Verständnis der Welt

G0.5 stellt einen wichtigen Fortschritt in der Entwicklung von verkörperten Grundmodellen (Embodied Foundation Models) bei Galaxea dar.

Anstatt das VLM lediglich als Encoder zu verwenden, stellt G0.5 es wieder in das Zentrum der Aktionsgenerierung.

Anstatt Schlussfolgerung und Aktion zu trennen, ermöglicht es dem Modell, während des Handelns zu denken.

Anstatt lediglich vordefinierte Routinen auszuführen, versetzt es Roboter in die Lage zu verstehen, wie sie handeln müssen, und den Kontext des Geschehenen beizubehalten.

Wir sind davon überzeugt, dass eine universell einsetzbare verkörperte Intelligenz einen skalierbaren Pfad sowohl für Modelle als auch für Daten erfordert. Wir werden diesen Ansatz mit mehr Robotikdaten, komplexeren Umgebungen und längeren Aufgabenhorizonten weiter vorantreiben.

Nach der Veröffentlichung der Modellgewichte soll G0.5 den sofort einsatzbereiten Betrieb über verschiedene Roboter-Ausprägungen hinweg unterstützen und Entwicklern dabei helfen, praktische Anwendungen für verkörperte KI zu erforschen.

Entdecken Sie den technischen Bericht zu G0.5:

0 Kommentare

Hinterlasse einen Kommentar