Reconocimiento de objetos y obtención de su posición

Abstract

Este proyecto se ha desarrollado con el objetivo principal de dotar a Shelly, el robot asistencial de RoboLab, de un sistema de reconocimiento y localización de objetos en el espacio. Este documento consta de tres partes: una introductoria que comprende los capítulos 1 y 2, una teórica que se desarrolla en el capítulo 3 y una práctica que se expone en los capítulos 4, 5 y 6. En la sección teórica se recogen los conceptos necesarios para la comprensión de los diferentes algoritmos utilizados en la implementación; distintos tipos de descriptores de nubes de puntos; diferentes técnicas de ajuste de nubes de puntos; extracción de los objetos de una escena; cómo es Shelly; qué es RoboComp y la arquitectura cognitiva CORTEX. En la sección práctica se desarrolla el proceso seguido para implementar el sistema objetivo: cómo se debe realizar el entrenamiento del sistema; qué información ha de almacenarse; cómo corregir la pose calculada en el entrenamiento; cómo se realiza el reconocimiento de los objetos; cómo se localiza un objeto en el espacio y qué información debe devolver el sistema; qué se puede hacer para optimizar el sistema; y finalmente, cómo combinar el reconocimiento y la localización del objeto. Además de esto, se muestran los resultados obtenidos de los experimentos de reconocimiento de objetos (probando los tipos de descriptores y los diferentes tipos de entrenamiento del sistema) y de localización del objeto (probando las diferentes técnicas de ajuste de nubes de puntos y los distintos tipos de entrenamiento del sistema). Finalmente, se presenta un análisis detallado de los resultados de los experimentos llevados a cabo, llegándose a la conclusión de que la elección del tipo descriptor y de la técnica de ajuste influyen significativamente en los resultados que obtiene el sistema, así como en el tiempo de ejecución. La combinación del descriptor OUR-CVFH, 16.

This project has been developed with the main objective of providing Shelly, the assistant robot of RoboLab, with an object recognition and localization system. This document is composed of three parts: an introductory part that covers chapters 1 and 2, a theoretical part which is explained in chapter 3, and a practical part comprising chapters 4, 5 and 6. In the theoretical section the necessary concepts for understanding the algorithms used are introduced; various types of point cloud descriptors; the different points cloud fitting techniques; how are the objects from a scene segmented; a description of the robot Shelly; RoboComp and the CORTEX cognitive architecture. The practical section presents the process followed for implementing the target system: how should system training be done; what information is to be stored; how to correct the computed pose in training; how objects are recognized; how an object is located in space and which information the system must return; what can be done to optimize the system; and finally how to combine the recognition and location of the object. In addition to this, the chapter presents the results obtained from the object recognition experiments (benchmarking the different types of descriptors and the different types of training system) and the experiments for location of the object (benchmarking the different techniques for fitting point clouds and different types of training systems). Finally, a detailed analysis of the results of the experiments is presented, concluding that the choice of the descriptor type and the adjustment technique influence significantly the results obtained by the system, as well as at the execution time. The combination of the OUR-CVFH descriptor, 16 views of each object and fitting using ICP, in view of the results obtained, it offers better results given that OUR-CVFH.