Ferrán Catalá López ∙Manuel Ridao∙Laura Tejedor Romero∙ …∙Enrique Bernal Delgado∙Michael F. Drummond∙David Moher
Objetivos
Investigar en qué medida los artículos de evaluaciones económicas de intervenciones de atención de salud indexados en MEDLINE incorporan prácticas de investigación que promueven la transparencia, la apertura y la reproducibilidad.
Diseño y entorno del estudio
Evaluamos una muestra aleatoria de evaluaciones económicas de la salud indexadas en MEDLINE durante 2019. Incluimos artículos escritos en inglés que informaban una relación costo-efectividad incremental en términos de costos por años de vida ganados, años de vida ajustados por calidad y/o años de vida ajustados por discapacidad. Las prácticas de investigación reproducibles, la apertura y la transparencia en cada artículo se extrajeron por duplicado. Exploramos si las prácticas de investigación reproducibles estaban asociadas con el uso de una guía por parte de los propios pacientes.
Resultados
Incluimos 200 estudios publicados en 147 revistas. Casi la mitad se publicaron como artículos de acceso abierto ( n = 93; 47%). La mayoría de los estudios ( n = 150; 75%) fueron evaluaciones económicas basadas en modelos. En 109 (55%) estudios, los autores informaron que utilizan una guía (por ejemplo, para la realización o el informe del estudio). Pocos estudios ( n = 31; 16%) informaron que trabajaban a partir de un protocolo. En 112 (56%) estudios, los autores informaron los datos necesarios para recrear la relación costo-efectividad incremental para el análisis del caso base. Este porcentaje fue mayor en los estudios que utilizaron una guía que en los estudios que no la utilizaron (72/109 [66%] con guía frente a 40/91 [44%] sin guía; riesgo relativo 1,50, intervalo de confianza del 95% 1,15-1,97). Solo 10 (5%) estudios mencionaron el acceso a datos brutos y código analítico para reanálisis.
Conclusión
La transparencia, la apertura y las prácticas de investigación reproducibles suelen ser poco utilizadas en las evaluaciones económicas de la salud. Este estudio proporciona datos de referencia para comparar los avances futuros en este campo.
¿Que hay de nuevo?
Principales hallazgos
• Los autores informaron los datos necesarios para recrear las razones de costo-efectividad incrementales para el análisis del caso base en solo el 56% de los estudios. Este porcentaje fue mayor en los estudios que utilizaron una directriz que en los estudios que no la utilizaron (66% frente a 44%).
•El 16% de los estudios informaron haber trabajado a partir de un protocolo y solo el 5% de los estudios mencionaron el acceso a datos sin procesar y código analítico para reanálisis.
¿Qué añade esto a lo que ya se sabía?•Hasta donde sabemos, ningún estudio ha cuantificado la frecuencia con la que los autores de evaluaciones económicas de la salud informan los datos necesarios para recrear todas las razones de costo-efectividad incrementales (incluidos los análisis de línea base, de subgrupos y de sensibilidad) ni ha investigado si la exhaustividad de los informes varía según el uso autodeclarado de alguna directriz (por ejemplo, para la realización o el informe del estudio). Además, ningún estudio ha investigado la frecuencia con la que se utilizan prácticas de investigación reproducibles, como compartir conjuntos de datos brutos y métodos analíticos (por ejemplo, código), en las evaluaciones económicas de la salud.
¿Qué implica esto y qué debería cambiar ahora?•Estos resultados podrían utilizarse potencialmente para informar el proceso de desarrollo e implementación de mejores prácticas para la presentación transparente de informes de evaluación económica de la salud, el intercambio de conjuntos de datos y códigos analíticos para que otros puedan recrear los hallazgos o realizar reanálisis secundarios
Discusión
En este estudio de metainvestigación, investigamos hasta qué punto los artículos de evaluaciones económicas de la salud incorporan prácticas de investigación transparentes, abiertas y reproducibles. Con base en nuestro análisis de una muestra aleatoria ( n = 200) de evaluaciones económicas de la salud indexadas en MEDLINE, observamos que las prácticas de investigación reproducibles con frecuencia se subutilizan en las evaluaciones económicas de la salud. En general, nuestro estudio mostró que la calidad de los informes de las evaluaciones económicas de la salud era razonable. Varios elementos metodológicos y de transparencia se informaron con frecuencia (por ejemplo, informe de conflictos de intereses, fuente de financiación, descripción de intervenciones y comparadores, población analizada, perspectiva, tipo de costos, horizonte temporal). Casi la mitad (47%) de los estudios se publicaron como artículos de acceso abierto, pero algunos componentes esenciales de los métodos de investigación faltaban en muchos artículos, como el uso de protocolos de estudio y planes de análisis económico de la salud, acceso a datos brutos y código analítico para reanálisis, pero también la descripción de métodos de medición para la efectividad clínica (por ejemplo, utilizando un proceso de revisión sistemática). Los autores informaron los datos necesarios para recrear los ICER del índice (para el análisis del caso base), en el 56% de los estudios. Este porcentaje fue mayor en los estudios que utilizaron una directriz que en los estudios que no la utilizaron (66% frente a 44%). Por el contrario, los datos necesarios para recrear todos los ICER, incluidos el caso base, los subgrupos y los análisis de sensibilidad, estaban disponibles solo en el 3% de los estudios.Un elemento importante para evaluar la transparencia, la apertura y la reproducibilidad es el registro de un protocolo de estudio y de planes de análisis (económicos de la salud). El registro de estudios, los protocolos y los planes de análisis son ahora rutinarios en la investigación clínica, y son de vital importancia en la planificación, realización, interpretación y revisión externa de ensayos aleatorios y revisiones sistemáticas. Cuando se ponen a disposición protocolos y planes de análisis claramente informados, permiten a los usuarios del conocimiento identificar desviaciones de los métodos planificados y si sesgan la interpretación de los resultados [ 1 , 5 ]. Sin embargo, el registro de protocolos de estudio y planes de análisis sigue siendo poco común fuera de los ensayos aleatorios y las revisiones sistemáticas. En nuestra muestra, y a pesar de que lo recomiendan algunas directrices de presentación de informes (como el Segundo Panel de EE. UU. sobre Costo-Efectividad en Salud y Medicina [ 14 ] y, más recientemente, la declaración CHEERS 2022 [ 47 ]), los planes de análisis se informaron solo en el 3% de las evaluaciones económicas de la salud. Este porcentaje fue algo más alto para los estudios que informaron trabajar a partir de un protocolo de estudio, pero solo el 16% en nuestra muestra. En vista de estos resultados, la escasez de protocolos de estudio y planes de análisis en las evaluaciones económicas de la salud podría justificar acciones pragmáticas. Por ejemplo, todavía hay iniciativas recientes en proceso para mejorar la transparencia y el contenido de los planes de análisis económico de la salud para las evaluaciones económicas de la salud basadas en ensayos [ 48 ] que podrían ser útiles para todo tipo de evaluaciones económicas (por ejemplo, basadas en modelos, basadas en estudios observacionales).Los métodos analíticos (por ejemplo, código y algoritmos) y el intercambio de datos son elementos críticos de la transparencia y la reproducibilidad [ 2 ]. Este intercambio es una parte esencial de la mayoría de los estudios, ya que permite el reanálisis y la evaluación de los métodos analíticos para detectar posibles errores o enfoques no revelados que pueden afectar los resultados y las conclusiones del estudio. La ausencia de intercambio de datos y código puede afectar la confiabilidad de los artículos publicados. Sin embargo, solo el 5% de los estudios de nuestra muestra mencionaron el acceso a los datos brutos y al código analítico para los reanálisis, lo que está dentro del rango de los resultados informados previamente en otros diseños de estudios [ 41 , 49 , 50 ]. Por ejemplo, en una muestra de 2020 de revisiones sistemáticas publicadas y metanálisis de intervenciones [ 50 ], el 7% (20/300) de las revisiones mencionaron el acceso a los conjuntos de datos, el código analítico y los materiales utilizados. Además, observamos que la gran mayoría de las evaluaciones económicas de la salud publicadas (75% en nuestra muestra) utilizaron el modelado analítico de decisiones como metodología principal. Las cuestiones relacionadas con la transparencia de los modelos y los enfoques para facilitar su intercambio siguen siendo importantes [ 19 , 51–53 ]. Las recomendaciones actuales establecen que los autores deben proporcionar suficientes detalles sobre la estructura y la parametrización de los modelos para permitir la reproducibilidad [ 13 , 14 , 47 ]. Aunque muchas directrices de presentación de informes no llegaron a un consenso al respecto, algunos autores han pedido enfoques de código abierto que requerirían poner a disposición los modelos («código fuente») [ 18 , 19 , 21 ]. En este sentido, la declaración CHEERS 2022 [ 47 ] añadió recientemente la recomendación de informar dónde se pueden encontrar los modelos disponibles públicamente y de que se fomente el intercambio de modelos desbloqueados con editores y revisores. De manera similar, es esencial que las evaluaciones económicas de la salud utilicen toda la evidencia relevante sobre la eficacia clínica de las intervenciones sanitarias en evaluación. Rara vez toda la evidencia relevante provendrá de un solo estudio y, por lo general, tendrá que extraerse de varios estudios clínicos. En este sentido, un hallazgo decepcionante de nuestro estudio es que pocas evaluaciones económicas de la salud proporcionaron una descripción completa de los métodos utilizados para medir la eficacia. Por ello, la mayoría de las evaluaciones económicas de la salud, y en particular las basadas en modelos, parecieron tomar decisiones arbitrarias sobre qué estudios utilizar para fundamentar los datos de eficacia clínica. Los estudios futuros deberían ser más transparentes al informar sobre estos aspectos importantes.En nuestro estudio, fue alentador que los datos necesarios para recrear los ICER de índice (para el análisis del caso base) estuvieran disponibles en más de la mitad (56%) de las evaluaciones económicas de la salud, aunque fue un tanto decepcionante que este no fuera el caso para todos los ICER. En nuestra opinión, hay varias explicaciones posibles. Algunos autores pueden considerar que es suficiente informar los datos completos para el análisis del caso base solo a partir de la ejecución de un modelo de análisis de decisiones con el conjunto preferido de supuestos y valores de entrada, dado que es probable que esto sea lo más importante para la toma de decisiones y se perciba como el resultado principal del estudio. Otros pueden argumentar que las limitaciones de espacio de las revistas científicas (por ejemplo, límites de palabras y restricciones en el número de tablas y figuras) pueden obligar a los autores a ser selectivos sobre los datos que presentan en un artículo. Sin embargo, existen múltiples opciones para presentar los datos relevantes para todos los análisis. Por ejemplo, la mayoría de las revistas permiten apéndices en línea y complementarios para descripciones completas de métodos analíticos, y observamos varios ejemplos de dichos apéndices que proporcionan datos completos y código analítico (por ejemplo, una evaluación económica de prescripciones potencialmente inapropiadas y eventos adversos relacionados en personas mayores [ 54 ]). Si las revistas no permiten los apéndices en línea y complementarios, los autores pueden cargar los datos relevantes en repositorios públicos (como Open Science Framework, Dryad o Zenodo). Con estas opciones, las prácticas de investigación reproducibles deberían convertirse en rutinarias en las evaluaciones económicas de la salud.La mitad (55%) de los estudios incluidos en nuestra muestra informaron sobre el uso de una guía (por ejemplo, para la realización o el informe del estudio). La mención o cita de una guía (como la declaración CHEERS [ 13 ] y/o el Panel de EE. UU. sobre Costo-Efectividad en Salud y Medicina [ 14-17 ]), tal vez un sustituto del uso real [ 46 ], parece estar potencialmente asociada con algunas prácticas de investigación reproducibles. Por ejemplo, los usuarios de las guías tenían una probabilidad estadísticamente significativamente mayor de informar los datos necesarios para recrear los ICER del índice, pero no todos los ICER en la evaluación económica de la salud. Hay varias razones posibles para esto. Algunos autores pueden aún desconocer las pautas de informe para las evaluaciones económicas de la salud o suponer que ya saben cómo informar los métodos y resultados de manera transparente. El grado en que las revistas respaldan las pautas de presentación de informes en economía de la salud es muy variable [ 55 ]: algunas exigen explícitamente que los autores presenten una lista de verificación completa en el momento de enviar el manuscrito, otras solo recomiendan su uso en las instrucciones para los autores y muchas no hacen ninguna referencia a ella. Algunos autores pueden asumir que han abordado adecuadamente un elemento si informan al menos sobre uno. Una forma de mejorar las cosas es que las revistas, los autores y los revisores pares sigan las pautas y listas de verificación existentes para mejorar la gestión editorial y la transparencia de los artículos publicados.Nuestros métodos tienen varias fortalezas. No restringimos la inclusión en función del alcance de la evaluación económica y, por lo tanto, a diferencia de estudios anteriores [ 24 , 29–34 ], pudimos recopilar datos sobre una sección transversal más amplia de evaluaciones económicas de la salud. Los estudios de nuestra muestra cubrieron una amplia gama de enfermedades o resultados de salud basados en el tiempo (no solo AVAC), pero abordaron predominantemente preguntas sobre la relación costo-efectividad de las intervenciones terapéuticas. Recopilamos datos tanto de los artículos publicados como de los apéndices complementarios. Nuestra muestra consta de evaluaciones económicas de la salud publicadas antes de que se publicara la declaración CHEERS 2022 [ 47 ] y, por lo tanto, proporciona un punto de referencia útil para futuros estudios de metainvestigación para explorar si se produjeron cambios en la transparencia y la reproducibilidad después del lanzamiento de la versión actualizada. Nuestro estudio también tiene algunas limitaciones. El posible sesgo de información, aunque innato al uso de datos retrospectivos, es menos probable debido al nivel de capacitación implementado para los extractores de datos y al uso de formularios de extracción estandarizados y piloto. Nuestros resultados reflejan lo que se informó en los artículos, y es posible que algunas evaluaciones económicas de la salud se hayan realizado (y notificado) con más rigor que lo especificado en el informe, y viceversa. Nuestros hallazgos no necesariamente pueden generalizarse a las evaluaciones económicas de la salud indexadas fuera de MEDLINE o escritas en idiomas distintos del inglés. De manera similar, solo se incluyeron evaluaciones económicas de la salud del campo médico. Por lo tanto, la presentación de análisis de costo-efectividad de otras áreas de la salud y las ciencias sociales puede ser peor (o diferente) que los resultados encontrados aquí, considerando que la medicina ha sido pionera en la práctica basada en la evidencia. Algunos elementos fueron informados por menos de 10 estudios, por lo que los IC del 95% de las asociaciones de RR son imprecisos. En algunas evaluaciones económicas de la salud, no estaba claro cómo se realizaron análisis de subgrupos/sensibilidad particulares o si se realizaron para todas o solo algunas comparaciones de tratamientos o resultados. Al no contactar a los autores para resolver estas incertidumbres, solo pudimos determinar si los análisis que se realizaron evidentemente tenían los datos necesarios para que los usuarios los recrearan. Otra posible limitación es que las evaluaciones económicas de la salud se publicaron en 2019, antes de la pandemia de COVID-19. Aunque la calidad y la apertura de la investigación no han mejorado durante el período de COVID-19 [ 56–58 ], es posible que las evaluaciones económicas de la salud más recientes utilicen prácticas de investigación reproducibles con mayor frecuencia, dado el creciente número de publicaciones que analizan la reproducibilidad [ 39 , 41–43 ].
5 Conclusión
En nuestra muestra de evaluaciones económicas de la salud, la transparencia, la apertura y las prácticas de investigación reproducibles no fueron óptimas. El fortalecimiento de la reproducibilidad, la apertura y la presentación de informes de métodos y resultados puede maximizar el impacto de las evaluaciones económicas de la salud al permitir una interpretación y un uso más precisos de sus hallazgos. En nuestra opinión, se necesitan estrategias para facilitar la provisión e implementación de descripciones detalladas de los datos recopilados y los datos utilizados para el análisis, la presentación de informes transparentes de los métodos y resultados de las evaluaciones económicas de la salud y el intercambio de conjuntos de datos, código analítico y modelos para que otros puedan recrear los resultados del estudio o realizar nuevos análisis secundarios. Además, nuestro estudio proporciona una base de referencia útil con la que se puede evaluar el impacto que estas declaraciones de intercambio de datos tienen en las futuras evaluaciones económicas de la salud, pero también se podrían utilizar en debates para fortalecer las prácticas de investigación reproducibles de las evaluaciones económicas de la salud.
