Addressing smartphone mismatch in Parkinson’s disease detection aid systems based on speech

Abstract

Voice analysis based systems offer low-cost, highly available automatic diagnostic aid for Parkinson’s disease (PD) detection anywhere a smartphone with a broadband connection is available. However, reliability depends on factors affecting the communication channel. In this paper the effects of recording device mismatch are analyzed. Multicondition training (MCT) is proposed to improve robustness against that mismatch. Methods: An experiment on 30 PD patients and 30 healthy subjects was designed. 3 vocalizations of sustained /a/ were recorded using a smartphone. These recordings, along with a simulation of 8 additional smartphones, were analyzed. Acoustical features were extracted and averaged per patient and recording device. Machine learning was used to distinguish healthy from PD patients by using different combinations of train-test smartphones. Results: By using the same device for training and testing, a 10% best-worse mean accuracy drop is observed. The gap among different devices reaches 37%. MCT retains 90% of the maximum accuracy and exceeds a 20% mean accuracy while lowers dispersion of the aggregated results obtained with single condition. Smartphone position shows a direct impact on performance. Conclusion: Recording device has a major effect on results. It is also found that red positioning of the recording device might also be influential. Using MCT appears to improve robustness. Significance: Results support the use of mobile devices to create an automated PD detection test. It is also encouraged to consider the use of MCT to obtain more robust and reliable results across different devices.

Los sistemas basados en análisis de voz ofrecen ayuda de diagnóstico automático de alta disponibilidad y bajo costo para la detección de la enfermedad de Parkinson (EP) en cualquier lugar donde esté disponible un teléfono inteligente con conexión de banda ancha. Sin embargo, la confiabilidad depende de factores que afectan el canal de comunicación. En este artículo se analizan los efectos de la falta de coincidencia del dispositivo de grabación. Se propone el entrenamiento multicondicional (MCT) para mejorar la solidez frente a ese desajuste. Métodos: Se diseñó un experimento con 30 pacientes con EP y 30 sujetos sanos. 3 vocalizaciones de /a/ sostenida se grabaron utilizando un teléfono inteligente. Se analizaron estas grabaciones, junto con una simulación de 8 teléfonos inteligentes adicionales. Las características acústicas se extrajeron y promediaron por paciente y dispositivo de grabación. Se utilizó el aprendizaje automático para distinguir a los pacientes sanos de los de EP mediante el uso de diferentes combinaciones de teléfonos inteligentes de prueba. Resultados: Al utilizar el mismo dispositivo para entrenamiento y pruebas, se observa una caída en la precisión media del 10 % entre el mejor y el peor. La brecha entre diferentes dispositivos alcanza el 37%. MCT conserva el 90 % de la precisión máxima y supera una precisión media del 20 % mientras reduce la dispersión de los resultados agregados obtenidos con una sola condición. La posición del teléfono inteligente muestra un impacto directo en el rendimiento. Conclusión: El dispositivo de grabación tiene un efecto importante en los resultados. También se ha descubierto que la posición roja del dispositivo de grabación también podría influir. El uso de MCT parece mejorar la solidez. Importancia: Los resultados respaldan el uso de dispositivos móviles para crear una prueba de detección de EP automatizada. También se recomienda considerar el uso de MCT para obtener resultados más sólidos y confiables en diferentes dispositivos.