HomeBody koppelt GPT‑6 Astra aan Unitree G1 voor autonoom opruimen in onbekende keuken

In een gezamenlijke inspanning hebben onderzoekers van Stanford University en het California Institute of Technology HomeBody geïntroduceerd, een nieuwe architectuur die het grote visie‑taalmodel GPT‑6 Astra direct aan een Unitree G1‑kwadruped robot koppelt. De integratie omzeilt de traditionele, apart getrainde besturingsstack en vertrouwt in plaats daarvan op het taalmodel om hoog‑niveau opdrachten te geven die via een uitbreidbare vaardigheidsbibliotheek in robotacties worden vertaald.

HomeBody’s kernpremisse is dat één verwisselbaar visie‑taalmodel kan dienen als de hersenen van een fysieke agent. GPT‑6 Astra ontvangt visuele input van de camera’s van de robot, interpreteert de scène en roept een catalogus van vooraf geprogrammeerde vaardigheden op – zoals grijpen, navigeren en laden van lades – om het gevraagde gedrag uit te voeren.

Verkenning en digitale tweelingcreatie

Voordat een schoonmaakoperatie begint, voert de Unitree G1‑robot een verkennende sweep van de keuken uit. Tijdens deze fase legt hij RGB‑beelden vast, bouwt een driedimensionale representatie binnen Nvidia’s Isaac Sim en registreert objectidentiteiten en ruimtelijke coördinaten in een dedicated geheugenstructuur. Deze digitale tweeling stelt de robot in staat om later uit het zicht verdwenen items terug te vinden, waardoor hij een persistent wereldmodel heeft.

Het geheugensysteem is bewust ontworpen om door GPT‑6 Astra bevraagbaar te zijn. Wanneer het model een reeks acties plant – bijvoorbeeld “pak het rode mokje van het aanrecht en zet het in de vaatwasser” – kan het refereren aan opgeslagen locaties om het mokje te lokaliseren, zelfs nadat de robot zich heeft verplaatst en het object niet meer zichtbaar is.

Taal‑gedreven planning en zelf‑correctie

Taakuitvoering volgt een gesloten‑lus proces. Het taalmodel ontvangt een hoog‑niveau instructie zoals “maak de keuken schoon”, splitst deze op in sub‑doelen en geeft commando’s aan de vaardigheidsbibliotheek. Als een actie faalt – bijvoorbeeld wanneer een lade niet opent – detecteert GPT‑6 Astra de fout via visuele feedback, herziet zijn plan en probeert een corrigerende manoeuvre.

De onderzoekers wijzen expliciet op deze zelf‑corrigerende capaciteit als gevolg van het vermogen van het model om over zijn eigen output te redeneren en de visuele staat na elke stap opnieuw te evalueren. Er is geen externe supervisie of versterkingssignaal nodig tijdens de testruns.

Prestaties op zero‑shot navigatie‑benchmarks

Om de navigatiecompetentie van GPT‑6 Astra in isolatie te meten, evalueerde het team het model op de R2R‑CE benchmark, een zero‑shot embodied navigatietest die alleen monocale RGB‑beelden levert. Het model behaalde een succesratio van 79 %, wat 13 procentpunten beter is dan het eerder gerapporteerde beste zero‑shot resultaat en 6,9 punten beter dan het top‑supervised resultaat.

Deze cijfers tonen aan dat het taalmodel ruwe visuele streams kan omzetten in navigatie‑beslissingen zonder enige taak‑specifieke fine‑tuning. De succesmetric weerspiegelt het vermogen van de robot om een doelpositie binnen een vooraf gedefinieerde tolerantie te bereiken na het volgen van het plan van het model.

• Latentie van het Astra‑model vertraagt de commando‑uitgifte.
• Oververhitting van de vinger‑servomotoren van de robot beperkt langdurig grijpen.
• Hoge rekencapaciteit beperkt realtime inzet op bescheiden hardware.
• Route‑afwijkingen en fouten in smalle doorgangen blijven bestaan in complexe lay‑outs.

Ondanks de sterke benchmarkcijfers benadrukte de evaluatie terugkerende faalmodi. De robot wijkt soms af van de optimale route, heeft moeite door smalle gangen te komen en identificeert onjuist of hij het beoogde doel heeft bereikt. In de ultra‑redenerende setting van de benchmark werden 21 fouten geregistreerd, waarvan vele de robot meerdere meters van het doel lieten achter.

De auteurs benadrukken dat de benchmark beperkt was tot een validatieset van 100 episodes. Er werd geen navigatie‑specifieke fine‑tuning, geen vooraf gebouwde kaarten of waypoint‑voorspellingsmodules gebruikt. Derhalve reflecteert de gerapporteerde succesratio een ruwe, zero‑shot capaciteit in plaats van een geoptimaliseerd systeem.

De HomeBody‑demonstratie zelf werd uitgevoerd in één onbekende keukenomgeving. De robot kreeg de instructie “maak de keuken schoon” en ging vervolgens zelfstandig verkennen, in kaart brengen en objecten manipuleren. Alle acties werden aangestuurd door GPT‑6 Astra’s planning en de vaardigheidsbibliotheek zonder enige mens‑in‑de‑lus correctie.

Beperkingen en open vragen

Belangrijke technische beperkingen kwamen naar voren uit de experimenten. De latentie die inherent is aan het bevragen van een groot taalmodel via een externe API veroorzaakt merkbare vertragingen tussen perceptie en actuatie. Bovendien vertoonden de vinger‑servomotoren van de Unitree G1 thermische opbouw tijdens herhaaldelijk grijpen, waardoor het systeem moest pauzeren of de gripkracht moest verlagen om schade te voorkomen.

De rekeneisen vormen eveneens een barrière. Het draaien van GPT‑6 Astra naast Nvidia Isaac Sim en de vaardigheids‑executie‑engine vraagt om high‑end GPU’s en aanzienlijke geheugen‑capaciteit, wat de haalbaarheid van HomeBody op edge‑apparaten of in kosten‑gevoelige omgevingen beperkt.

Ten slotte blijft de evaluatie‑scope smal. De 100‑episode validatieset dekt niet de volledige diversiteit van keukenlay‑outs, objectvariëteiten of instructie‑complexiteit die in de echte wereld voorkomen. De auteurs roepen op tot bredere tests over uiteenlopende taken, langere navigatieroutes en meerdere omgevingen om de generalisatie beter te kwantificeren.

Praktische implicaties voor organisaties

Voor organisaties die autonome service‑robots overwegen, illustreert HomeBody een route om de ingenieursinspanning te verminderen die nodig is om low‑level controllers voor elke nieuwe omgeving te programmeren. Door een visie‑taalmodel te gebruiken dat verwisselbaar is, zou een enkel robotplatform in principe kunnen aanpassen aan verschillende domeinen simpelweg door het model te updaten of de vaardigheidsbibliotheek uit te breiden.

De huidige hardware‑ en latentiebeperkingen maken echter realtime werking in drukke omgevingen uitdagend. Bedrijven moeten beoordelen of de benodigde reken‑infrastructuur om GPT‑6 Astra op schaal te draaien past binnen hun budget en hun tolerantie voor vertragingen.

De gedocumenteerde faalmodi suggereren bovendien dat veiligheid‑kritische toepassingen extra beveiligingslagen vereisen, zoals fallback‑navigatieplanners of realtime bewakingssystemen, om route‑afwijkingen te mitigeren en betrouwbare doelverificatie te waarborgen.

Samengevat biedt HomeBody een overtuigend proof‑of‑concept dat grote visie‑taalmodellen direct embodied agents in ongestructureerde huishoudelijke ruimtes kunnen aansturen. De benadering vermindert de afhankelijkheid van taak‑specifieke besturings‑training, maar brengt nieuwe technische uitdagingen met zich mee op het gebied van rekenkracht, thermisch beheer en robuustheid, die organisaties moeten oplossen voordat grootschalige adoptie realistisch is.