ChatGPT от OpenAI хорош не только для создания последовательных текстовых ответов на подсказки на естественном языке — он также может играть роль во взаимодействии человека с роботом и использовать обратную связь с датчиками для написания кода для действий робота.
Microsoft недавно провела исследование, чтобы «узнать, может ли ChatGPT думать не только о тексте, но и рассуждать о физическом мире, чтобы помочь с задачами робототехники». Цель состояла в том, чтобы увидеть, могут ли люди использовать ChatGPT для обучения роботов без изучения языков программирования или понимания робототехнических систем.
«Основная задача здесь — научить ChatGPT решать задачи с учетом законов физики, контекста операционной среды и того, как физические действия робота могут изменить состояние мира», — отмечают в Microsoft Autonomous Systems and Robotics Research.
Исследователи Microsoft изучили способность ChatGPT генерировать код, в основном на Python, для сценариев робототехники, таких как планирование с нулевым выстрелом и генерация кода, после того как ChatGPT был предоставлен доступ к данным об обнаружении объектов и данных о расстоянии до объектов через интерфейсы приложений.
ChatGPT может создавать код, потому что он был обучен на большом количестве кода и письменного текста. Было показано, что система способна решать проблемы с кодированием и отлаживать программы, с добавленной уникальной возможностью отвечать на диалог и искать разъяснения. Существует также Codex, модель OpenAI на основе GPT-3, которая лежит в основе службы парного программирования GitHub Copilot, которая автоматически дополняет код для разработчиков на нескольких языках.
Имея в виду эти возможности диалога и уточнения, Microsoft протестировала возможности ChatGPT как языкового интерфейса между нетехническим пользователем и дроном. Как отмечают исследователи в статье, в то время как GPT-3, LaMDA и Codex продемонстрировали многообещающие результаты в задачах планирования робототехники и генерации кода, ChatGPT, в частности, является «потенциально более универсальным инструментом для области робототехники, поскольку он включает в себя сильные стороны естественного происхождения». и модели генерации кода, а также гибкость диалога».
Исследователи отмечают в своем блоге: «ChatGPT задавал уточняющие вопросы, когда инструкции пользователя были неоднозначными, и писал сложные структуры кода для дрона, такие как зигзагообразный шаблон для визуального осмотра полок».
Microsoft протестировала ChatGPT, чтобы использовать роботизированную руку для перемещения блоков, чтобы сформировать логотип Microsoft. Исследователи также поручили ChatGPT написать алгоритм, позволяющий дрону достигать точки, не врезаясь в препятствия. Они также проверили, может ли ChatGPT решить, куда должен идти робот, на основе обратной связи с датчиком в режиме реального времени.
Исследователи из Google Research и компании Everyday Robots, принадлежащей Alphabet, также работали над аналогичными задачами робототехники, используя большие языковые модели под названием PaLM или модель языка Pathways, которая помогала роботу обрабатывать открытые подсказки и отвечать разумным образом.
Иван Ковалев
VIA
Nvidia утверждает, что ее новейший графический процессор GeForce RTX 4060 за 300 долларов на целых 20% быстрее, чем RTX
