Transformer based spatial temporal detection of apoptotic cell death in live cell imaging

Abstract

Intravital microscopy has revolutionized live cell imaging by allowing the study of spatial temporal cell dynamics in living animals. However, the complexity of the data generated by this technology has limited the development of effective computational tools to identify and quantify cell processes. Amongst them, apoptosis is a crucial form of regulated cell death involved in tissue homeostasis and host defense. Live cell imaging enabled the study of apoptosis at the cellular level, enhancing our understanding of its spatial temporal regulation. However, at present, no computational method can deliver robust detection of apoptosis in microscopy timelapses. To overcome this limitation, we developed ADeS, a deep learning based apoptosis detection system that employs the principle of activity recognition. We trained ADeS on extensive datasets containing more than 10,000 apoptotic instances collected both in vitro and in vivo, achieving a classification accuracy above 98% and outperforming state of the art solutions. ADeS is the first method capable of detecting the location and duration of multiple apoptotic events in full microscopy timelapses, surpassing human performance in the same task. We demonstrated the effectiveness and robustness of ADeS across various imaging modalities, cell types, and staining techniques. Finally, we employed ADeS to quantify cell survival in vitro and tissue damage in mice, demonstrating its potential application in toxicity assays, treatment evaluation, and inflammatory dynamics. Our findings suggest that ADeS is a valuable tool for the accurate detection and quantification of apoptosis in live cell imaging and, in particular, intravital microscopy data, providing insights into the complex spatial temporal regulation of this process.

La microscopía intravital ha revolucionado la obtención de imágenes de células vivas al permitir el estudio de la dinámica celular espacio-temporal en animales vivos. Sin embargo, la complejidad de los datos generados por esta tecnología ha limitado el desarrollo de herramientas computacionales efectivas para identificar y cuantificar los procesos celulares. Entre ellos, la apoptosis es una forma crucial de muerte celular regulada involucrada en la homeostasis de los tejidos y la defensa del huésped. Las imágenes de células vivas permitieron el estudio de la apoptosis a nivel celular, mejorando nuestra comprensión de su regulación espacio-temporal. Sin embargo, en la actualidad, ningún método computacional puede ofrecer una detección robusta de la apoptosis en timelapses de microscopía. Para superar esta limitación, desarrollamos ADeS, un sistema de detección de apoptosis basado en el aprendizaje profundo que emplea el principio de reconocimiento de actividad. Entrenamos ADeS con extensos conjuntos de datos que contenían más de 10.000 instancias apoptóticas recopiladas tanto in vitro como in vivo, logrando una precisión de clasificación superior al 98% y superando a las soluciones de última generación. ADeS es el primer método capaz de detectar la ubicación y duración de múltiples eventos apoptóticos en timelapses de microscopía completa, superando el rendimiento humano en una misma tarea. Demostramos la eficacia y la solidez de ADeS en varias modalidades de imagen, tipos de células y técnicas de tinción. Finalmente, empleamos ADeS para cuantificar la supervivencia celular in vitro y el daño tisular en ratones, demostrando su aplicación potencial en ensayos de toxicidad, evaluación de tratamientos y dinámica inflamatoria. Nuestros hallazgos sugieren que ADeS es una herramienta valiosa para la detección y cuantificación precisas de la apoptosis en imágenes de células vivas y, en particular, en datos de microscopía intravital, proporcionando información sobre la compleja regulación espacio-temporal de este proceso.