Инженеры Samsung, ученые Университета Макгилла (McGill University, Канада) и Йоркского университета (York University) исследовали возможности системы искусственного интеллекта (AI)в прогнозировании движения объекта на основе визуальных и тактильных измерений его начального состояния.
«Предсказать траекторию движущихся объектов сложно из-за неизвестных фрикционных, геометрических свойств и неопределенного распределения давления на взаимодействующей поверхности. Мы сосредоточились на обучении алгоритма, нацеленного фиксировать наиболее информативные и стабильные элементы траектории движения», указали в научной статье разработчики.
Ученые разработали датчик See-Through-your-Skin, способный захватывать изображения и проводя детальные тактильные измерения. Кроме того, создана структура Generative Multimodal Perception (GMP, “Генерирующее мультимодальное восприятие”). GMP при помощи визуальных и тактильных данных (получаемых по мере доступности) изучает прогнозы от AI о позиции, форме и силе воздействия объекта на плоскость, и формирует прогнозы о динамике объекта.
Для предсказания состояния покоя объекта во время физического взаимодействия разработчики задействовали систему resting state predictions. Она, наряду с визуально-тактильным набором данных, анализировала движения в динамике.
Рассматриваемый подход предсказывал исходные визуальные и тактильные измерения конфигурации объекта, причем прогнозы соответствовали истинным значениям, даже если тактильная информация была недоступна во вводимых данных. Алгоритм также предсказывал случаи, когда объект падал с поверхности датчика, что приводило к пустым выходным изображениям.
Аналогичный подход недавно представили в MIT.
