Microsoft onderzoekers gebruiken ChatGPT om robots en drones te instrueren

De ChatGPT van OpenAI kan niet alleen coherente tekstreacties genereren op natuurlijke taalinput - het kan ook een rol spelen in interacties tussen mens en robot en sensorfeedback gebruiken om code te schrijven voor robotacties.

Microsoft heeft onlangs onderzoek uitgevoerd om "te zien of ChatGPT kan denken buiten tekst en kan redeneren over de fysieke wereld om te helpen bij robotica-taken." Het doel was om te onderzoeken of mensen ChatGPT kunnen gebruiken om robots te instrueren zonder programmeertalen te leren of robotica-systemen te begrijpen.

Diepgaand: Deze experts racen om AI te beschermen tegen hackers. De tijd dringt.

"De belangrijkste uitdaging hier is om ChatGPT te leren hoe het problemen kan oplossen met inachtneming van de wetten van de fysica, de context van de operationele omgeving en hoe de fysieke acties van de robot de toestand van de wereld kunnen veranderen", merkt een team van Microsoft Autonomous Systems en Robotics Research op in een blogpost.

De onderzoekers van Microsoft hebben de mogelijkheid van ChatGPT onderzocht op het genereren van code, voornamelijk in Python, voor robotica scenario's, zoals zero-shot planning en codegeneratie, nadat ChatGPT toegang kreeg tot objectdetectie en objectafstandsgegevens via applicatie-interfaces.

ChatGPT kan code produceren omdat het getraind is op grote hoeveelheden code en geschreven tekst. Er is aangetoond dat het systeem in staat is om programmeerproblemen op te lossen en programma's foutopsporing uit te voeren, met als unieke toegevoegde eigenschap dat het kan reageren op dialoog en verduidelijking kan zoeken. Er is ook Codex, OpenAI's GPT-3-gebaseerde model dat het GitHub's Copilot pair-programming service ondersteunt, die codes automatisch aanvult voor ontwikkelaars in meerdere talen.

Ook: Wat is ChatGPT? Hier is alles wat je moet weten

Met deze dialoog- en verduidelijkingsmogelijkheden in gedachten heeft Microsoft de ChatGPT getest als taalgebaseerde interface tussen een niet-technische gebruiker en een drone. Zoals de onderzoekers in een paper opmerken, terwijl GPT-3, LaMDA en Codex potentie lieten zien bij taken zoals robotica-planning en codegeneratie, is ChatGPT specifiek "een potentieel veelzijdiger instrument voor het robotica-domein, omdat het de sterke punten van natuurlijke taal en codegeneratiemodellen combineert met de flexibiliteit van dialoog."

De onderzoekers noteren in hun blogpost: "ChatGPT stelde verduidelijkingsvragen wanneer de instructies van de gebruiker onduidelijk waren en schreef complexe codestructuren voor de drone, zoals een zigzagpatroon om schappen visueel te inspecteren."

Microsoft heeft ChatGPT getest om een robotarm te gebruiken om blokken te verplaatsen en het Microsoft-logo te vormen. De onderzoekers gaven ChatGPT ook de opdracht om een algoritme te schrijven voor een drone om een punt te bereiken zonder tegen obstakels te botsen. Ze hebben ook getest of ChatGPT op basis van sensorfeedback in real-time kan beslissen waar een robot naartoe moet gaan.

Onderzoekers van Google Research en Everyday Robots, eigendom van Alphabet, hebben ook gewerkt aan vergelijkbare robotica-uitdagingen met behulp van grote taalmodellen genaamd PaLM, of Pathways Language Model, waarmee een robot open prompts kon verwerken en op redelijke manieren kon reageren.