Ученые из Google Brain, Intel AI Lab и Калифорнийского университета в Беркли создали Motion2Vec – модель AI, которая способна обучаться выполнению хирургических задач с применением роботов. Система через роботов и благодаря просмотру видео может накладывать швы, передавать и вводить иглы иглы, бинтовать и т.д. Для проверки результатов модель протестировали на роботе da Vinci. Тот в лаборатории продевал иглу через ткань.
Motion2Vec – это алгоритм обучения представлению, навыки которого усовершенствовали при помощи полууправляемого обучения.
Ранее ученые Калифорнийского университета в Беркли с помощью видео на YouTube обучали агентов танцам и акробатическим трюкам. В то же время специалисты Google обучали алгоритмы созданию подобных видео.
Возможности и навыки хирургической робототехники, обучаемой по видео, можно улучшить, полагают исследователи. Для этого нужно собрать набор видеоматериалов.Пока для обучения использовали 78 демонстраций из набора данных о наложении швов. Подробности о работе технологии представлена на ресурсе arXiv.
источник фото: Venturebeat/Google Brain/Intel AI Lab/UC Berkeley