A Monte Carlo–Based Bayesian approach for measuring agreement in a qualitative scale

Abstract

Agreement analysis has been an active research area whose techniques have been widely applied in psychology and other fields. However, statistical agreement among raters has been mainly considered from a classical statistics point of view. Bayesian methodology is a viable alternative that allows the inclusion of subjective initial information coming from expert opinions, personal judgments, or historical data. A Bayesian approach is proposed by providing a unified Monte Carlo–based framework to estimate all types of measures of agreement in a qualitative scale of response. The approach is conceptually simple and it has a low computational cost. Both informative and non-informative scenarios are considered. In case no initial information is available, the results are in line with the classical methodology, but providing more information on the measures of agreement. For the informative case, some guidelines are presented to elicitate the prior distribution. The approach has been applied to two applications related to schizophrenia diagnosis and sensory analysis.

El análisis de acuerdos ha sido un área de investigación activa cuyas técnicas se han aplicado ampliamente en psicología y otros campos. Sin embargo, el acuerdo estadístico entre los evaluadores ha sido principalmente considerado desde el punto de vista de la estadística clásica. La metodología bayesiana es una alternativa viable que permite incluir información inicial subjetiva procedente de opiniones de expertos, personales juicios o datos históricos. Se propone un enfoque bayesiano proporcionando un Monte Carlo unificado para estimar todo tipo de medidas de acuerdo en una escala cualitativa de respuesta. El enfoque es conceptualmente simple y tiene un bajo costo computacional. En caso de que no se disponga de información inicial, los resultados están en línea con la metodología clásica, pero aportando más información sobre las medidas de acuerdo. Para el caso informativo, se presentan algunas pautas para suscitar la distribución previa. El enfoque se ha aplicado a dos aplicaciones relacionadas con la esquizofrenia. diagnóstico y análisis sensorial.