Недавние достижения в области робототехники и искусственного интеллекта (ИИ) открыли новые захватывающие возможности для телеоперации – дистанционного управления роботами для выполнения задач в удаленном месте. Это могло бы, например, позволить пользователям посещать музеи издалека, выполнять техническое обслуживание в труднодоступных помещениях или посещать мероприятия удаленно более интерактивными способами.
Большинство существующих систем телеуправления предназначены для развертывания в определенных условиях и с использованием конкретного робота. Это затрудняет их применение в различных реальных условиях, значительно ограничивая их потенциал.
Исследователи из NVIDIA и Калифорнийского университета в Сан–Диего недавно создали AnyTeleop, систему телеуправления на основе компьютерного зрения, которая может быть применена к более широкому спектру сценариев. AnyTeleop, представленный в статье, предварительно опубликованной на arXiv, позволяет удаленно управлять различными роботизированными руками для решения различных ручных задач.
“Основной задачей NVIDIA является исследование того, как люди могут научить роботов выполнять задачи”, – Дитер Фокс, старший директор по исследованиям робототехники в NVIDIA, руководитель исследовательской лаборатории NVIDIA Robotics Research, профессор Вашингтонского университета Пол Дж. Аллен из Школы компьютерных наук и инженерии и руководитель лаборатории робототехники UW и оценки состояния рассказал Tech Xplore.
“Предыдущая работа была сосредоточена на том, как человек будет телеуправлять роботом, или направлять его, но у этого подхода есть два препятствия. Во-первых, обучение самой современной модели требует множества демонстраций. Во-вторых, установки обычно оснащены дорогостоящим оборудованием или сенсорной аппаратурой и предназначены только для конкретного робота или среды развертывания”, – сказал Фокс.
Ключевой целью недавней работы Фокса и его коллег было создание системы телеуправления, которая является недорогой, простой в развертывании и хорошо подходит для различных задач, сред и роботизированных систем. Чтобы обучить свою систему, исследователи дистанционно управляли как виртуальными роботами в моделируемой среде, так и реальными роботами в физической среде, поскольку это уменьшило необходимость в покупке и сборке большого количества роботов.
“AnyTeleop – это система телеуправления, основанная на зрении, которая позволяет людям использовать свои руки для управления ловкими роботизированными системами”, – пояснил Фокс. “Система отслеживает позы человеческих рук с одной или нескольких камер, а затем перенацеливает их для управления пальцами многопалой руки робота. Точка на запястье используется для управления движением руки робота с помощью планировщика движений на базе CUDA.”
В отличие от большинства других систем телеуправления, представленных в предыдущих исследованиях, AnyTeleop может быть сопряжен с различными манипуляторами робота, кистями рук робота, конфигурациями камер и различными моделируемыми или реальными средами. Кроме того, он может быть применен как к сценариям, в которых пользователи находятся поблизости, так и в удаленных местах.
Платформа AnyTeleop также может помочь в сборе демонстрационных данных о людях (т.е. данных, представляющих движения и действия, которые люди выполняют при выполнении определенных ручных задач). Эти данные, в свою очередь, можно было бы использовать для лучшего обучения роботов автономному выполнению различных задач.
“Главным прорывом AnyTeleop является его обобщаемый и легко развертываемый дизайн”, – сказал Фокс. “Одним из потенциальных приложений является развертывание виртуальных сред и виртуальных роботов в облаке, что позволяет пользователям edge с компьютерами начального уровня и камерами (например, iPhone или ПК) управлять ими дистанционно. Это могло бы в конечном счете революционизировать систему передачи данных для исследователей и промышленных разработчиков, обучающих роботов новым навыкам”.
В ходе первоначальных испытаний было обнаружено, что AnyTeleop превосходит существующую систему телеуправления, разработанную для конкретного робота, даже при применении к этому роботу. Это подчеркивает его ценность как инструмента для улучшения приложений телеуправления.
NVIDIA скоро выпустит версию системы AnyTeleop с открытым исходным кодом, что позволит исследовательским группам по всему миру протестировать ее и применить к своим роботам. В будущем эта многообещающая новая платформа может способствовать расширению масштабов систем телеуправления, а также облегчению сбора обучающих данных для роботов-манипуляторов.
“Теперь мы планируем использовать собранные данные для изучения дальнейшего обучения роботов”, – добавил Фокс. “Одним из важных направлений в будущем является преодоление пробелов в предметной области при переносе моделей роботов из симулятора в реальный мир”.
