Avances en manipulación robótica submarina mediante segmentación y seguimiento visual

Abstract

En este artículo se presenta un sistema robótico semiautomático que utiliza visión, reconstrucción 3D, segmentación, estimación de objetos, interfaces hombre-robot (HRI) y planificación del agarre para mejorar el estado del arte en manipulación submarina mediante funciones autónomas y capacidad de supervisión. En primer lugar se obtiene una reconstrucción en 3D del objeto. A continuación, se utilizan métodos basados en RAN- SAC (RANdom SAmple Consesnsus) y estimación de supercuádricas (SQ) para obtener la geometría subyacente de los objetos a manipular para presentar una reconstrucción de la escena al usuario. Después, se lleva a cabo la especificación de la manipulación de forma autónoma. El usuario puede entonces validar o ajustar el resultado del sistema y proceder a ejecutar el agarre. El sistema ha sido probado satisfactoriamente en diferentes condiciones, tanto en simulación como en entornos reales.

This paper presents a semi-autonomous robotic system which uses vision, 3D reconstruction, segmentation, object estimation, human-robot interface (HRI) and grasp planning in order to improve the underwater manipulation state-of-the-art using autonomous functionalities and supervision capabilities. Firstly, a 3D reconstruction of the object is obtained. Afterwards, RAN-SAC (RANdom SAmple Consensus) and superquadrics (SQ) estimation based methods are used to calculate the underlying geometry and pose of the objects to be manipulated in order to show a reconstruction of the scene to the user. Next, the grasp specification is carried out autonomously. Then, the result can be validated or tuned by the user to execute the grasp. The system has been successfully tested in different conditions both in simulation and in real environments.