PADELVIC: multicamera videos and motion capture data in padel matches

Abstract

Los avances en visión por computador y el aprendizaje profundo han abierto nue-vas posibilidades en cuanto a la etiquetación automática de videos deportivos. Sin embargo, un requisito esencial para las técnicas de aprendizaje supervisado es la dis-ponibilidad de datos de entrenamiento con anotaciones precisas. En este artículo pre-sentamos PadelVic, un conjunto de datos anotado de un partido amateur de pádel que incluye múltiples secuencias de video desde diferentes ángulos, estimaciones de la posición en pista de los cuatro jugadores (y datos de captura de movimiento de uno de los jugadores), así como videos sintéticos diseñados específicamente para ser uti-lizados como entrenamiento para redes neuronales que estimen la posición a partir de videos. La posición de los jugadores se obtuvo aplicando un método de estimación de pose a uno de los videos, el cual proporciona un error posicional (M=16 cm, SD=13 cm) razonable en comparación con el tamaño de la pista. Para uno de los jugadores, utilizamos un sistema de captura de movimiento que proporciona la orientación de las partes del cuerpo con una precisión de 1.5º RMS. Sin embargo, el mayor grado de exactitud proviene de nuestros datos sintéticos, que proporcionan la posición y orientación exacta de jugadores virtuales que imitan los datos del sistema de captura de movimiento. Como ejemplo de aplicación de los datos sintéticos, presentamos un sistema para predecir con mayor precisión el centro de masa de los jugadores proyec-tado sobre el plano de la pista, a partir de un solo video del partido. También discuti-mos cómo aprovechar los datos posicionales de los jugadores para tareas como aná-lisis de sinergia, análisis táctico colectivo, y generación de perfiles de jugadores.

Recent advances in computer vision and deep learning techniques have opened new possibilities regarding the automatic labeling of sport videos. However, an essen-tial requirement for supervised techniques is the availability of accurately labeled training datasets. In this paper we present PadelVic, an annotated dataset of an ama-teur padel match which consists of multi-view video streams, estimated positional data for all four players within the court (and for one of the players, accurate motion capture data of his body pose), as well as synthetic videos specifically designed to serve as training sets for neural networks estimating positional data from videos. For the recorded data, player positions were estimated by applying a state-of-the-art pose estimation technique to one of the videos, which yields a relatively small positional error (M=16 cm, SD=13 cm). For one of the players, we used a motion capture system providing the orientation of the body parts with an accuracy of 1.5º RMS. The highest accuracy though comes from our synthetic dataset, which provides ground-truth po-sitional and pose data of virtual players animated with the motion capture data. As an example application of the synthetic dataset, we present a system for a more accurate prediction of the center-of-mass of the players projected onto the court plane, from a single-view video of the match. We also discuss how to exploit per-frame positional data of the players for tasks such as synergy analysis, collective tactical analysis, and player profile generation.