Galaxea G0.5：行動しながら思考を可能にする次世代の身体化基盤モデル

かつてロボットに「タオルをシンクに入れて」と指示すると、あらかじめ定義された一連の動作を実行するだけでした。しかし、G0.5を搭載したロボットは、タスクを推論できます。タオルはどこにあるか？シンクはどこか？タオルを掴み、シンクに向かい、その中に置く必要がある。動作しながら考えるのです。

1. 言語からアクションへ：新しい物体、環境、指示へのゼロショット汎化

R1 Liteロボットにおいて、G0.5は対象となるシーンの微調整を一切行わずに、自然言語の指示から直接操作タスクを実行できます。モデルが現在の環境レイアウト、物体カテゴリ、指示の組み合わせを一度も経験したことがない場合でも、タスクを解釈し、サブタスクに分解し、リアルタイムでスムーズな両手操作を生成できます。

これがG0.5の即座に使える能力の実践です：モデルは1つ、指示は1つ、そしてロボットが動き出すのです。

見慣れないシーン、空間レイアウト、これまで見たことのない物体に直面しても、G0.5は自然言語の指示に従って直接動作できます。ロボットは動作しながら考えるようになります。

3. ロボットが動作しながら考えることを可能にする3つのコア能力

ロボットは形態、自由度、制御周波数において大きく異なります。両手ヒューマノイド、移動操作プラットフォーム、単腕産業用ロボットは、すべて異なるアクション次元を持っています。

既存のアプローチは、多くの場合、2つの方法のいずれかをとります。1つは、各形態のために個別のパイプラインを開発することです。例えば、FASTにおいて固定されたDCTベースのパイプラインを使用し、異なる形態のアクションを独立して離散化します。もう1つは、量子化する前にすべての自由度を1つの長いベクトルに平坦化することです。

どちらのアプローチにも限界があります。1つ目は、形態間で知識を共有することが困難です。2つ目は、トークンの数が自由度の総数に比例して増加します。指を動かす必要があるだけでも、モデルはまだすべての関節のトークンを生成する必要があるかもしれません。これは不要なオーバーヘッドを生み出し、タスクや形態間で転移しにくい、絡み合ったアクション表現につながります。

私たちは、アクショントークンは言語と同様に構造化され、かつ疎であるべきだと考えています。

これを実現するために、私たちは統一された異種アクショントークナイザーを開発しました。共有されたアクション語彙により、G0.5はテーブルトップの両手操作から全身移動操作まで、幅広い形態を表現できます。同時に、自己回帰デコーディングの追加オーバーヘッドは管理可能な範囲に留まります。

この設計は、ビジョン言語モデル（VLM）を条件付きエンコーダーに格下げするのではなく、アクション生成器としての役割に戻すための鍵です。

BEHAVIOR-1Kなどのベンチマークにおける家事タスクでは、自然言語の指示を数十のサブタスクに分解する必要があります。わずか1エポックの訓練で、単一のG0.5チェックポイントは、4エポック訓練されたπ0.5、および4つのチェックポイントで構成されたチャレンジ優勝ソリューションを上回ります。G0.5は、事前学習分布外の家事タスクでもサブタスクをゼロショットで分解できます。

G0.5はR1 Lite上でタオルをシンクに入れるタスクをゼロショットで実行します。同じ自己回帰ストリーム内で、モデルはまずサブタスクや対象物バウンディングボックスを含む推論出力を生成し、その後にアクショントークンを生成します。各フレームからの観察に基づいて継続的に再計画します。

3.3 時空間アテンション：ロボットに文脈を認識した知覚を与える

複雑な家事タスクは、単一フレームへの反射的な反応だけでは確実に解決できません。ロボットの視界が自分の腕によって一時的に遮られたり、予期しない失敗が発生したりした場合、シーンの一貫した理解を維持するために過去の文脈が必要です。

G0.5は、数秒間の視覚履歴を融合する軽量な時空間アテンションモジュールを組み込んでいます。これにより、モデルは現在の視覚フィールドの一部が一時的に利用できない場合でも、より堅牢に動作できます。

実験では、事前学習中に学習された知覚的な事前知識に支えられ、G0.5は箱を物置に移動する、車両に積み込む、薪を運ぶ、寝室を片付けるといった長期間のBEHAVIOR-1Kタスクにおいて、一貫してπ0.5を上回ることが示されています。

実世界の微調整評価： R1 ProおよびR1 Liteプラットフォーム上の6つのタスク–形態構成において、G0.5（濃いオレンジ色）はタスク成功率とプロセススコアの両方でπ0.5およびGR00T-N1.7よりも大幅に優れた全体的な結果を提供します。

DROIDゼロショット評価： 対象となるロボットの微調整なしに、G0.5は10のテーブルトップ操作タスクにわたって平均成功率82.5%を達成します。評価されたすべてのタスクにおいてπ0.5-DROIDおよびMolmoAct2-DROIDの両方を上回ります。

ピックアンドプレースベンチマーク： ゼロショット評価から50時間のポストトレーニングまで、G0.5（濃い色のバー）は言語追従率とタスク成功率の両方で、評価されたすべてのデータスケールにおいてπ0.5を上回ります。

全体として、これらの結果はいくつかの重要な能力を浮き彫りにしています。

• 大規模な事前学習は、コアとなる身体化された基盤モデル能力を構築します。 軽量なポストトレーニングにより、G0.5は7つのベンチマークにわたってπ0.5を凌駕し、報告された評価において最先端（SOTA）の結果を達成し、この事前学習アプローチの有効性を実証しています。

• ゼロショット、即座に使える汎化：DROID（Franka）およびPP Bench（R1 Lite）でのゼロショット実験は、G0.5の事前学習された能力が、互換性のあるロボットプラットフォームとこれまで見たことのない環境に直接転移できることを示しています。

• 単一モデルによる汎用性と性能上の優位性： BEHAVIOR-1Kチャレンジの50種類の長期モバイルマニピュレーションタスクにおいて、G0.5は単一のモデルウェイトを使用し、わずか1エポックのポストトレーニングで0.29のスコアを達成し、チャレンジ優勝のマルチモデルアンサンブルとπ0.5の両方を大幅に上回りました。4エポック後にはスコアが0.31に上昇し、さらなる性能向上が示され、G0.5は半数以上のタスクでベースラインを上回りました。

• 事前学習された表現が長期タスクのボトルネックを克服： これらの結果は、構造化されたアクション空間と視覚メモリに基づく事前学習されたプライアが、長期モバイルマニピュレーションにおけるギャップを埋め、効率的な汎用性を実現する上で中心的な役割を果たしていることを直接的に示しています。

5. 結論：アクションの実行から世界の理解へ

G0.5は、Galaxeaの身体性基盤モデル開発における重要な前進を示しています。

VLMをエンコーダーとしてのみ使用するのではなく、G0.5はアクション生成の中心にVLMを再び据えています。

推論をアクションから切り離すのではなく、モデルが行動しながら考えることを可能にします。

あらかじめ定義されたルーチンを単に実行するのではなく、ロボットがどのように行動すべきかを理解し、これまでに起こったことの文脈を保持できるようにします。

G0.5の技術レポートをご覧ください：

• 技術レポート全文を読む (PDF)