Como Inferir la eficacia de las intervenciones gubernamentales contra COVID-19

Jan M. Brauner¹,²,Sören Mindermann¹,Mrinank Sharma²,³,⁴, David Johnston⁵,⁶, John Salvatier⁶, 

Este es un trabajo muy interesante y basal para el sistema técnico de toma de decisiones de los gobiernos, con precisiones sobre la efectividad de las medidas no farmacológicas, por ello lo he incluido en el blog, y recomendar por supuesto la lectura del original. La importancia que tiene siempre tomar decisiones en función de datos, especialmente las que involucran a poblaciones. Especialmente la cita esta vinculada que en nuestro país se denostó el cierre de las escuelas. Tal vez el cuestionamiento es por la prolongación, pero que en los países que se tomó, salvo Suecia e Islandia, fue muy efectiva.

Los gobiernos del mundo están tratando de controlar la pandemia COVID-19 con intervenciones no farmacológicas (NPI) y ahora con las campañas de vacunación. Sin embargo, la eficacia de los diferentes NPI, en la reducción de la transmisión no se entiende bien, deben jerarquizarse y analizar cuales son de mayor valor o efectividad. A pesar de los esfuerzos en vacunar, como la escasez de las vacunas y el tamaño de población suceptible hasta Agosto del 2020 no se llegará al efecto rebaño. Este trabajo recopila datos cronológicos sobre la aplicación de los NPI para varios países europeos y otros países entre enero y finales de mayo de 2020. se estima la eficacia de los NPI, que van desde limitar el tamaño de las reuniones, los cierres de negocios y el cierre de las instituciones educativas hasta los pedidos de que se quedan en casa. Para ello, utilizamos un modelo jerárquico bayesiano que vincula las fechas de implementación de NPI con los recuentos nacionales de casos y muertes y apoyó los resultados con una amplia validación empírica.

El cierre de todas las instituciones educativas, la limitación de las reuniones a 10 personas o menos, y el cierre de las empresas presenciales redujeron considerablemente la transmisión. El efecto adicional de los pedidos de estancia en casa fue comparativamente pequeño.

Temporización de las implementaciones de NPI a principios de 2020.

Los símbolos cruzados significan cuando se levantó un NPI. En el Cuadro 1se presentan definiciones detalladas de los INP.

Incluso con diversos datos de muchos países, la estimación de los efectos de la NPI sigue siendo una tarea difícil.

En primer lugar, los modelos se basan en parámetros epidemiológicos inciertos; nuestro estudio de eficacia NPI incorpora parte de esta incertidumbre directamente en el modelo.

En segundo lugar, los datos son retrospectivos y observacionales, lo que significa que factores no observados podrían confundir los resultados.

En tercer lugar, las estimaciones de eficacia de NPI pueden ser muy sensibles a las decisiones de modelado arbitrarias, como lo demuestran dos estudios recientes de replicación (9, 10).

En cuarto lugar, los conjuntos de datos NPI públicos a gran escala sufren de frecuentes incoherencias (11) y datos faltantes (12). Por lo tanto, los datos y el modelo deben validarse cuidadosamente si se van a utilizar para guiar las decisiones de política. Se recopilan un gran conjunto de datos público sobre las fechas de implementación de NPI que ha sido validado por doble entrada independiente, y validado ampliamente nuestras estimaciones de eficacia. Este es un elemento crucial, pero a menudo ausente o incompleto, de los estudios de eficacia de NPI COVID-19 (10).

Los resultados proporcionan información sobre la cantidad de transmisión COVID-19 asociada con diversas áreas y actividades de la vida pública, tales como reuniones de diferentes tamaños. Por lo tanto, pueden informar a los paquetes de intervenciones que los países implementan para controlar la transmisión en las oleadas actuales y futuras de infecciones. Sin embargo, debemos tener cuidado al interpretar los resultados de este estudio. Sólo analizamos el efecto que tuvieron los NPI entre enero y finales de mayo de 2020, y la eficacia de la NPI puede cambiar con el tiempo a medida que cambian las circunstancias. Levantar un NPI no implica que la transmisión vuelva a su nivel original y nuestra ventana de análisis no incluye la relajación de los NPI. Estas y otras limitaciones se detallan en la sección Discusión.

Modelado de la eficacia del NPI entre países

Se analizaron los efectos de siete NPI de uso común entre el 22 de enero y el 30 de mayo de 2020. Todos los NPI tenían como objetivo reducir el número de contactos dentro de la población (Tabla 1). Si un país levantó un NPI antes del 30 de mayo, la ventana de análisis de ese país finaliza el día del levantamiento (ver Métodos). Para garantizar una alta calidad de los datos, dos de los autores (entrada doble independiente) introdujeron de forma independiente todos los datos NPI mediante orígenes primarios y, a continuación, se compararon manualmente con varios conjuntos de datos públicos. Los datos sobre casos COVID-19 confirmados y muertes se extrajeron del conjunto de datos Johns Hopkins CSSE COVID-19 (13). Los datos utilizados en este estudio, incluidas las fuentes, están disponibles en línea en GitHub (14).

Eficacia de los NPI individuales

El modelo empleado por los autores les permitió estimar la eficacia individual de cada NPI, expresada como una reducción porcentual en R_T. Cuantificamos la incertidumbre con los intervalos de predicción bayesianos, que son más amplios que los intervalos creíbles estándar. Esto refleja las diferencias en la eficacia del NPI entre los países, entre otras fuentes de incertidumbre. Los intervalos de predicción bayesianos son análogos a la desviación estándar de la eficacia entre países, en lugar del error estándar de la eficacia media. En la configuración predeterminada del modelo, la reducción porcentual de R_T (con un intervalo de predicción del 95%; 2) asociado con cada NPI fue: limitando las concentraciones a 1000 personas o menos: 23% (0 a 40%); a 100 personas o menos: 34% (12 a 52%); a 10 personas o menos: 42% (17 a 60%); cerrando algunas empresas presenciales de alto riesgo: 18% (-8 a 40%); cerrando la mayoría de los negocios presenciales no esenciales: 27% (3 a 49%); cierre de escuelas y universidades en conjunto: 38% (16 a 54%); y la emisión de pedidos de estancia en casa (efecto adicional sobre todos los demás NPI): 13% (-5 a 31%). hay que tener en cuenta que no pudo diferenciar con fuerza los efectos individuales del cierre de escuelas o el cierre de universidades, ya que estos NPI se aplicaron el mismo día o en estrecha sucesión en la mayoría de los países [excepto Islandia y Suecia, donde sólo se cerraron las universidades (véase también fig. S21)]. Por lo tanto, reportamos «escuelas y universidades cerradas en conjunto» como un NPI.

Reducciones porcentuales posteriores en R_T con intervalos de predicción medios, 50% y 95% mostrados. Los intervalos de predicción reflejan muchas fuentes de incertidumbre, incluida la eficacia del NPI que varía según el país y la incertidumbre en los parámetros epidemiológicos. Una reducción negativa del 1% se refiere a un aumento del 1% en R_T. «Escuelas y universidades cerradas» muestra el efecto conjunto de cerrar tanto escuelas como universidades en conjunto; el efecto individual de cerrar sólo uno será más pequeño (ver texto). Los efectos acumulativos se muestran para los NPI jerárquicos (prohibiciones de reunión y cierres de negocios), es decir, el resultado para las empresas «Más no esenciales cerradas» muestra el efecto acumulativo de dos NPI con parámetros y símbolos separados: cerrar algunas empresas (de alto riesgo) y, además, cerrar la mayoría de las empresas restantes (no de alto riesgo, pero no esenciales) dado que algunas empresas ya están cerradas.

Algunos NPI con frecuencia coexistieron, es decir, eran parcialmente colineales. Sin embargo, pudimos aislar los efectos de los NPI individuales ya que la colinealidad era imperfecta y nuestro conjunto de datos grande. Por cada par de NPI, observamos uno sin el otro durante 504 días-país en promedio (tabla S5). El número mínimo de días-país para cualquier par NPI es 148 (para limitar las reuniones a 1000 o 100 asistentes). Además, bajo una colinealidad excesiva y datos insuficientes para superarla, las estimaciones de eficacia individuales serían muy sensibles a las variaciones en los parámetros de datos y modelos (15). De hecho, la alta sensibilidad evitó Flaxman et al. (1), que tenía un conjunto de datos más pequeño, de desenredar los efectos NPI (9). Por el contrario, nuestras estimaciones de eficacia son sustancialmente menos sensibles (véase más adelante). Por último, las correlaciones posteriores entre las estimaciones de eficacia son débiles, lo que sugiere aún más la colinealidad manejable.

Eficacia de las combinaciones de NPI

Aunque las correlaciones entre las estimaciones individuales eran débiles, las tomamos en cuenta a la hora de evaluar la eficacia combinada de npI. Por ejemplo, si dos NPI coexistió con frecuencia, puede haber más certidumbre sobre la eficacia combinada que sobre la eficacia de cada NPI individualmente. La Figura 3 muestra la eficacia combinada de los conjuntos de NPI que son más comunes en nuestros datos. En combinación, los NPI de este estudio redujeron R_T 77% (67 a 85%). En todos los países, la media R_T sin NPIs (es decir, el R₀) fue 3.3 (cuadro S4). A partir de este número, el estimado de R_T probablemente podría haber sido llevado por debajo de 1 cerrando escuelas y universidades, negocios de alto riesgo, y limitando el tamaño de las reuniones a como máximo 10. Los lectores pueden explorar interactivamente los efectos de los conjuntos de NPI con nuestra calculadora de mitigación en línea (16). Un archivo CSV que contiene la eficacia conjunta de todas las combinaciones NPI está disponible en línea (14).

Eficacia combinada de NPI para los 15 conjuntos de NPI más comúnmente implementados en nuestros datos.

Las regiones sólidas y sombreadas denotan intervalos de predicción bayesianas del 50% y 95%. (A) Predicho R_T después de la implementación de cada conjunto de NPI, suponiendo que R₀ 3,3. (B) Máximo R₀ que se puede reducir a R_T por debajo de 1 por conjuntos comunes de NPI. Los lectores pueden explorar interactivamente los efectos de todos los conjuntos de NPI, mientras₀ y ajustar la eficacia de NPI a las circunstancias locales, con nuestra calculadora de mitigación en línea (16).

Sensibilidad y validación

Se realizaron una serie de experimentos de validación y sensibilidad (figs. S2 a S19). En primer lugar, analizamos cómo el modelo se extrapolaba a los países que no aportaban datos para adaptarse al modelo, y descubrimos que podía generar previsiones calibradas para hasta 2 meses, con una incertidumbre que aumentaba con el tiempo. Múltiples análisis de sensibilidad mostraron cómo los resultados cambiaron cuando modificamos los antecedentes sobre parámetros epidemiológicos, excluyeron los países del conjunto de datos, utilizamos sólo muertes o casos confirmados como observaciones, variamos el preprocesamiento de datos y más. Por último, probamos nuestros supuestos clave mostrando resultados para varios modelos alternativos [sensibilidad estructural (10)] y examinamos la posible confusión de nuestras estimaciones por factores no observados que influyen R_T. En total, consideramos la eficacia de NPI en 206 condiciones experimentales alternativas(Fig. 4A). En comparación con los resultados obtenidos en nuestra configuración predeterminada(Figs. 2 y 3), la mediana de la eficacia npI varió bajo condiciones experimentales alternativas plausibles. Sin embargo, las tendencias en los resultados son sólidas, y algunos NPI superaron a otros en todas las condiciones probadas. Aunque probamos grandes rangos de valores plausibles, nuestros experimentos no incluían todas las fuentes posibles de incertidumbre.

Mediana de eficacia NPI en todos los análisis de sensibilidad.

(A) Mediana de la eficacia del NPI (reducción de la R_T) cuando se varían diferentes componentes del modelo o de los datos en 206 condiciones experimentales. Los resultados se muestran como gráficas de violín, utilizando la estimación de densidad del núcleo para crear las distribuciones. Dentro de los violines, las tramas de la caja muestran la mediana y el rango intercuartil. Las líneas verticales marcan 0%, 17,5% y 35% (ver texto). (B a E) Análisis de sensibilidad categorizados.

(B) Sensibilidad a la estructura del modelo. Usando sólo casos o sólo muertes como observaciones (2 condiciones experimentales; fig. S7); variando la estructura del modelo (3 condiciones; fig. S8, izquierda).

(C) Sensibilidad a los datos y al preprocesamiento. Dejar fuera a los países del conjunto de datos (42 condiciones;. S5 y S21); variando el umbral por debajo del cual se enmascaran los casos y las muertes (8 condiciones; fig. S13); sensibilidad a la corrección de casos indocumentados y a las diferencias a nivel de país en la determinación de casos (2 condiciones; fig. S6).

(D) Sensibilidad a los parámetros epidemiológicos. Variando conjuntamente los medios de los antecedentes sobre los medios del intervalo de generación, el retraso de la confirmación de la infección a caso y el retraso de la infección a muerte (125 condiciones; fig. S10); variando el anterior sobre R₀ (4 condiciones; fig. S11); variando los parámetros anteriores sobre el efecto NPI (3 condiciones; fig. S11); variando el anterior sobre el grado en que los efectos de npI varían según los países (3 condiciones; fig. S12).

(E) Sensibilidad a factores no observados que influyen R_T. Excluyendo los NPI observados de uno en uno (8 condiciones; fig. S9); control de NPI adicionales de un conjunto de datos diferente (6 condiciones; fig. S9).

El trabajo conceptualmente clasificó los efectos NPI en pequeños, moderados y grandes, definiendo como una reducción mediana posterior en R_T menos del 17,5%, entre el 17,5 y el 35%, y más del 35% (líneas verticales en la Fig. 4). 

Cuatro de los NPI cayeron en la misma categoría en una gran fracción de las condiciones experimentales: el cierre de escuelas y universidades se asoció con un gran efecto en el 96% de las condiciones experimentales, y limitar las reuniones a 10 personas o menos tuvo un gran efecto en el 99% de las condiciones. El cierre de la mayoría de las empresas no esenciales tuvo un efecto moderado en el 98% de las condiciones. La emisión de pedidos de estancia en casa (es decir, además de los otros NPI) cayó en la categoría de «efecto pequeño» en el 96% de las condiciones experimentales. Tres NPI cayeron menos claramente en una categoría: limitar las concentraciones a 1000 personas o menos tuvo un efecto moderado a pequeño (moderado en el 81% de las condiciones), al tiempo que limita las concentraciones a 100 personas o menos tuvieron un efecto moderado a grande (moderado en el 66% de las condiciones). Por último, el cierre de algunos negocios de alto riesgo, incluidos bares, restaurantes y discotecas tuvo un efecto moderado a pequeño (moderado en el 58% de las condiciones). Limitar las reuniones a 1000 personas o menos fue el NPI con la mayor variación en la eficacia media en todas las condiciones experimentales(Fig. 4A), que puede reflejar la colinealidad parcial del NPI con la limitación de las reuniones a 100 personas o menos.

La agregación de todos los análisis de sensibilidad puede ocultar la sensibilidad a suposiciones específicas. Mostramos los efectos NPI medios en cuatro categorías de análisis de sensibilidad(Fig. 4, B a E), y cada análisis de sensibilidad individual se muestra en los materiales complementarios. Las tendencias en los resultados también son estables dentro de estas categorías.

Discusión

El estudio utilizó un enfoque basado en datos para estimar los efectos que siete intervenciones no farmacológicas tuvieron en la transmisión COVID-19 en 41 países entre enero y finales de mayo de 2020.

Se encontraron que varios NPI estaban asociados con una R_T, en consonancia con las crecientes pruebas de que los NPI son eficaces para mitigar y suprimir los brotes de COVID-19. Además, nuestros resultados indican que algunos NPI superaron a otros. Si bien las estimaciones exactas de eficacia varían con los supuestos de modelado, las conclusiones generales que se describen a continuación son en gran medida sólidas en 206 condiciones experimentales en 11 análisis de sensibilidad.

Tanto los cierres de negocios como las prohibiciones de recopilación parecen haber sido eficaces para reducir la transmisión COVID-19. Cerrar la mayoría de los negocios presenciales no esenciales fue sólo algo más eficaz que los cierres dirigidos, lo que sólo afectaba a las empresas con alto riesgo de infección, como bares, restaurantes y discotecas (véase también el cuadro 1).

Por lo tanto, los cierres de negocios específicos pueden ser una opción política prometedora en algunas circunstancias.

Limitar las reuniones a 10 personas o menos fue más eficaz que los límites de hasta 100 o 1000 personas y tuvo una estimación de efectos más sólida. Tenga en cuenta que nuestras estimaciones se derivan de datos entre enero y mayo de 2020, un período en el que la mayoría de las reuniones eran probablemente en interiores debido al clima.

Cada vez que los países de nuestro conjunto de datos introducían pedidos de estancia en casa, esencialmente siempre también implementaban, o ya tenían en vigor, todos los demás NPI en este estudio. Representamos estos otros NPI por separado y aislamos el efecto de ordenar a la población que se quedara en casa, además del efecto de todos los demás NPI. De acuerdo con otros estudios que adoptaron este enfoque (2, 6), encontramos que la emisión de una orden de estancia en casa tuvo un pequeño efecto cuando un país ya había cerrado instituciones educativas, cerrado negocios no esenciales y prohibido las reuniones. Por el contrario, Flaxman et al. (1) y Hsiang et al. (3) incluyó el efecto de varios NPI en la eficacia de su orden de estancia en el hogar (o «bloqueo») de los NPI y, en consecuencia, encontró un gran efecto para este NPI. El presente estudio sugiere que algunos países pueden haber podido reducir R_T por debajo de 1 sin un pedido de estancia en casa (Fig. 3) mediante la emisión de otros NPI.

Se encontró un gran efecto para el cierre de escuelas y universidades en conjunto, que era notablemente robusto en diferentes estructuras modelo, variaciones en los datos y suposiciones epidemiológicas (Fig. 4). Se mantuvo robusto al controlar para los NPI excluidos de nuestro estudio (fig. S9). Nuestro enfoque no puede distinguir los efectos directos sobre la transmisión en las escuelas y universidades de los efectos indirectos, como la población general que se comporta con más cautela después de que los cierres de escuelas señalaran la gravedad de la pandemia. Además, dado que los cierres escolares y universitarios se implementaron el mismo día, o en estrecha sucesión en la mayoría de los países que estudiamos, nuestro enfoque no puede distinguir sus efectos individuales (fig. S21). Esta limitación también se aplica a otros estudios observacionales que no incluyen datos sobre cierres universitarios y estiman únicamente el efecto de los cierres de escuelas (1–3, 5–8). Además, nuestro estudio no proporciona evidencia sobre el efecto de cerrar preescolares y jardines.

La evidencia previa sobre el papel de los alumnos y estudiantes en la transmisión es mixta. Aunque los jóvenes infectados (de entre 12 y 25 años) suelen ser asintomáticos, parecen arrojar cantidades similares de virus(17, 18)y, por lo tanto, pueden infectar a individuos de mayor riesgo.

Los primeros datos indicaron que los niños y los adultos jóvenes tenían una tasa de incidencia observada notablemente menor que los adultos mayores, ya sea que se deba a los cierres escolares y universitarios (19–22).

Por el contrario, el reciente resurgimiento de los casos en los países europeos se ha concentrado en el grupo de edad correspondiente a la enseñanza secundaria y la educación superior (especialmente esta última), y ahora se está extendiendo a los grupos de edad avanzada, así como a los niños en edad escolar primaria (23, 24).

Las escuelas primarias pueden ser generalmente menos afectadas que las escuelas secundarias (20, 25–28), tal vez en parte porque los niños menores de 12 años son menos susceptibles a SARS-CoV-2 (29).

Este estudio tiene varias limitaciones.

En primer lugar, la eficacia del NPI puede depender del contexto de aplicación, como la presencia de otros NPI, la demografía de los países y los detalles específicos de la aplicación. Por lo tanto, nuestros resultados deben interpretarse como la eficacia en los contextos en los que el NPI se implementó en los datos (10).

Por ejemplo, en un país con una población comparativamente más anciana, la eficacia del cierre de escuelas y universidades probablemente habría estado en el extremo inferior de nuestro intervalo de predicción.

Por lo tanto, el juicio de expertos debe utilizarse para ajustar nuestras estimaciones a las circunstancias locales.

Segundo R_T pueden haber sido reducidos por NPIs no observados o cambios de comportamiento voluntarios, como el uso de máscaras.

Para investigar si el efecto de estos posibles confundidores podría atribuirse falsamente a los NPI observados, realizamos varios análisis adicionales y descubrimos que los resultados son estables a una serie de factores no observados (fig. S9).

Sin embargo, esta comprobación de sensibilidad no puede proporcionar certeza e investigar el papel de los factores no observados es un tema importante a explorar más a fondo.

En tercer lugar, nuestros resultados no se pueden utilizar sin calificación para predecir el efecto de la elevación de los NPI.

Por ejemplo, cerrar escuelas y universidades en conjunto parece haber reducido considerablemente la transmisión, pero esto no significa que reabrirlas necesariamente hará que las infecciones se eleven. Las instituciones educativas pueden implementar medidas de seguridad, como la reducción del tamaño de las clases a medida que se reabren. Sin embargo, los casi 40.000 casos confirmados asociados a universidades en el Reino Unido desde que reabrieron en septiembre de 2020 muestran que las instituciones educativas todavía pueden desempeñar un papel importante en la transmisión, a pesar de las medidas de seguridad (30).

En cuarto lugar, no se tienen datos sobre algunas intervenciones prometedoras, como las pruebas, el rastreo y el aislamiento de casos.

Estas intervenciones podrían convertirse en una parte importante de una respuesta epidémica rentable(31),pero no se incluyeron porque es difícil obtener datos completos sobre su aplicación. Además, aunque los datos están más fácilmente disponibles, es difícil estimar el efecto del uso de máscaras en los espacios públicos porque la vida pública era limitada como resultado de otros NPI.

Aunque este trabajo se centró en estimar el impacto de los NPI en el número de reproducción R_T, el objetivo final de los gobiernos puede ser reducir la incidencia, prevalencia y exceso de mortalidad de COVID-19. Para ello, controlar R_T es esencial, pero la contribución de los INP a estos objetivos también puede estar mediada por otros factores, como su duración y tiempo (32), la periodicidad y la adherencia (33, 34), y la contención exitosa (35). Si bien cada uno de estos factores aborda la transmisión dentro de países individuales, puede ser crucial sincronizar adicionalmente los NPI entre países, ya que los casos pueden importarse (36).

Muchos gobiernos de todo el mundo buscan mantener R_T por debajo de 1, minimizando al mismo tiempo los costos sociales y económicos de sus intervenciones. Este trabajo ofrece información sobre qué áreas de la vida pública necesitan más medidas de contención de virus para que las actividades puedan continuar a medida que se desarrolla la pandemia; sin embargo, nuestras estimaciones no deben tomarse como la última palabra sobre la eficacia del NPI.