Исследователи назвали разработку 3-D Dynamic Scene Graphs (3-D Dynamic Scene Graphs). Кроме домашних роботов новый тип моделирования окружающей среды подойдет для промышленных коллаборативных машин, соседствующих на производстве с человеком
Для выполнения задач высокого уровня домашним роботам (например, передача или перестановка предметов) потребуется достичь необходимого уровня восприятия окружающей обстановки. В качестве решения ученые MIT предлагают моделирование человеком схожих процессов.
Сейчас машинное зрение и навигация развиваются по двум основным направлениям:
- трехмерное отображение/3D-mapping – позволяет роботам реконструировать окружающую обстановку среду в трех измерениях в режиме реального времени;
- сегментация (semantic segmentation) – помогает роботу классифицировать предметы/элементы в поле зрения. Этот процесс выполняется в основном на двумерных изображениях.
Исследователи назвали разработку 3-D Dynamic Scene Graphs (3-D Dynamic Scene Graphs). Ее возможности включают быстрое создание трехмерной карты окружения робота, объектов (люди, комнаты и т.д.) в поле зрения камер и их семантические метки (например, «стул напротив стола»),
Модель также предусматривает:
- извлечение роботом информации из трехмерной карты;
- запрос местоположения объектов и помещений;
- движение людей на маршруте следования.
Вычислительные мощности новой модели генерируются библиотекой с открытым исходным кодом Kimera. Ученые предварительно разработали это решение для одновременного построения трехмерной геометрической модели обстановки, при этом кодируя вероятность того, что объектом может оказаться стул или стол.
Kimera принимает потоки изображений с камеры робота и инерциальные измерения от бортовых датчиков для оценки траектории устройства или камеры. В итоге система реконструирует обстановку в виде трехмерной сетки в режиме реального времени.
Kimera для генерации семантической трехмерной сетки использует существующую нейронную сеть, обученную на основе реальных изображений, а затем точно предсказывает метки каждого пикселя. После этого решение проецирует метки в 3D с помощью метода Ray-casting.
«Это сжатое представление об окружающей обстановке позволяет нашему роботу быстро принимать решения и выстраивать свой маршрут. Процесс не слишком отличается от того, как это делает человек: запоминает ориентиры до точки назначения», – прокомментировал Карлоне.
Кроме домашних роботов новый тип моделирования окружающей среды подойдет для промышленных коллаборативных машин, соседствующих на производстве с человеком.
