Sobreabundancia de cálculos erróneos en el estudio que publicó el Ministerio de Salud sobre la efectividad de Sputnik V

Antecedentes

Un análisis de los datos de la vacuna Sputnik V concluyó que los resultados publicados probablemente fueron falsos. La vacuna se autorizó en Rusia antes de que se publicaran los estudios clínicos y los resultados de los ensayos posteriores resultaron controvertidos.

Un grupo de Australia y Singapur arroja nuevas dudas sobre los datos de Sputnik después de investigar la eficacia casi idéntica para cada grupo de edad de un ensayo de fase 3 informado en  The Lancet en febrero de 2021 . Descubrieron que las eficacias estaban más cerca entre sí de lo esperado, dado el pequeño número de pacientes e infecciones, y la alta eficacia de la vacuna. «Tal resultado se esperaría en menos de 1 de cada 1000 ensayos«, escribió el equipo.

La preocupación es «que fue mucho más perfecto de lo que cabría esperar dada la cantidad de infecciones en el estudio», dice Kyle Sheldrick de la Universidad de Nueva Gales del Sur, Australia, quien dirigió la investigación. «Obtuvieron resultados prácticamente idénticos para cada grupo de edad, y eso simplemente no sucede en los datos reales».

Esta no es la primera vez que se cuestionan los datos del Sputnik. Enrico Bucci de la Universidad de Temple, en Filadelfia, EE. UU., también señaló preocupaciones en septiembre de 2020 . Posteriormente informó sobre las discrepancias en los datos y los informes deficientes del ensayo de fase 3.

Observó una eficacia de la vacuna del

• 91,9 % entre los adultos de 18 a 30 años,
• del 90 % entre los de 31 a 40 años,
• del 91,3 % entre los de 41 a 50 años,
• del 92,7 % entre los de 51 a 60 años y
• del 91,8 % en los mayores de 60 años.

Un análisis estadístico concluyó una baja probabilidad de observar tal homogeneidad.

El nuevo análisis ejecutó simulaciones que tomaron la misma cantidad de pacientes y asumieron que la eficacia de la vacuna era correcta e idéntica en cada grupo de edad. Luego asignó al azar a los 21.000 pacientes a grupos vacunados o no vacunados, asumiendo la misma tasa de infección que para el grupo de control.

En 50.000 ensayos simulados de la vacuna Sputnik V, el 0,026 % de ellos tenían todos los subgrupos de edad dentro de las cifras de eficacia informadas para el ensayo de fase 3. El mismo enfoque adoptado para las vacunas de AstraZeneca, Janssen, Moderna y Pfizer arrojó resultados entre el 24 % y el 51 %.

«Nuestra simulación muestra que, incluso si todo lo que afirman es cierto, la posibilidad de obtener los resultados que publicaron es tan increíblemente pequeña que simplemente no puede aceptarse como datos reales», dice Sheldrick. «Esto se ajusta a un patrón de resultados demasiado similares que hemos visto en múltiples estudios con esta vacuna».

El análisis invirtió el enfoque adoptado por Bucci y otros. «Los autores tomaron al pie de la letra las afirmaciones hechas por los rusos sobre la eficacia de la vacuna, en lugar de demostrar que eran altamente improbables como lo hicimos nosotros», señaló Bucci. «Una vez que lo haga, nunca obtendrá los resultados descritos en el documento original al realizar una prueba de la forma en que se hizo».

Él y otros críticos dicen que los problemas se ven agravados por el secreto en torno a los protocolos de prueba y el análisis estadístico. «El acceso a los datos originales es primordial para evaluar la consistencia real de la eficacia del Sputnik V», según Bucci.

El grupo liderado por Australia pidió una investigación exhaustiva del artículo, así como la publicación inmediata de datos anónimos de pacientes individuales a un experto estadístico imparcial. Sin tales pasos, The Lancet debería retractarse del artículo .

«The Lancet Group se toma muy en serio los problemas relacionados con la mala conducta científica y sigue las pautas de mejores prácticas establecidas por el Comité de Ética de Publicaciones», dijo un portavoz de The Lancet Group en un comunicado. «Reconocemos las preocupaciones sobre la validez de los datos de la vacuna Sputnik publicados en The Lancet e invitaremos a los autores del artículo de The Lancet a responder a estas últimas preguntas».

No obstante, los problemas del ensayo no significan que la vacuna no funcione, dice e Kyle Sheldrick de la Universidad de Nueva Gales del Sur, Australia, «pero sí significa que no podemos confiar en este ensayo, que es el más grande hasta la fecha». Reenvió su análisis a la Agencia Europea de Medicamentos, que previamente anunció una revisión del Sputnik V.

Sputnik en Argentina

A fines de abril 2022, Enrico Bucci, un biólogo molecular italiano que que analiza los estudios publicados en revistas científicas, encontró varias incongruencias en un trabajo que Carla Vizzotti y parte de su equipo presentó en la revista The Lancet en el que destacaban la alta efectividad de la vacuna Sputnik V. Tras la polémica, la prestigiosa publicación incorporó este mes las correcciones marcadas por el experto. Sin embargo, el italiano aún plantea observaciones en el texto de funcionarios argentinos.

El chequeo de Bucci

“El trabajo, bajo la premisa de un protocolo bien diseñado, pretende evaluar retrospectivamente la eficacia de la vacunación con Sputnik, ChAdOx1 (vacuna de AstraZeneca) y BBIBP-CorV (vacuna china), a partir de la incidencia de infección y muerte causada por Covid-19 entre sujetos vacunados y no vacunados, todos mayores de 60 años”, arranca la nota que expone con gráficos de la investigación argentina los errores y agrega: “Se consideran muchos factores de confusión para corregir los posibles errores que plagan este tipo de estudio retrospectivo: edad, género, comorbilidades, origen geográfico y muchos otros”.

Enrico Bucci profundiza y agrega: “Al final, entre otras conclusiones, nos enteramos por los autores de que la vacuna rusa funciona en la prevención de infecciones y muertes entre los sujetos probados, tan bien como el producto de AstraZeneca, con un porcentaje de eficacia (calculado antes de Omicron) igual o superior, del 93% en cuanto a la prevención de muertes por Covid-19. Esto es bienvenido y está en línea con las expectativas de todos, dado lo que sabemos sobre los productos adenovirales: pero veamos los datos publicados por The Lancet. Consideremos primero la tabla que proporciona detalles sobre la población estudiada. Entre los vacunados con el producto chino encontramos 18.733 muertos de 95.519 infectados a pesar de la vacuna. De estas defunciones, 5208 tienen >=80 años, es decir, según informa Lancet, el 27,8% del total de defunciones. Como pueden ver en la siguiente figura, el problema es que en la misma tabla encontramos que de los 18.733 muertos totales 7434 están en la franja de sexagenarios, y esto corresponde… ¡Otra vez al 27,8% de los muertos, según la autorizada revista!”.

Luego cuestiona a los revisores de la revista The Lancet por no detectar estos errores y agrega: “De acuerdo, tal vez el crítico estaba cansado. Podemos seguir, siempre mirando a la misma tabla. Para cada grupo de edad y para cada vacuna, encontramos casos de Covid-19 confirmados por PCR antes de que comenzara el estudio. Para los casos de Sputnik V, tenemos 0,6%, 0,3% y 0,2% para los tres grupos de edad incluidos en el estudio: ¡pero la suma debería ser 100%, ya que no hay otros grupos de edad incluidos en el estudio para Sputnik!”.

“Continuando en la misma tabla, descubrimos entonces que, para la vacuna china, se reportan los porcentajes de vacunados entre los controles con una o dos dosis, desglosando los datos por edad; sin embargo, nuevamente encontramos porcentajes sin sentido, que no se pueden reproducir”, detalló el científico que es profesor e investigador en la Universidad de Temple, Filadelfia, Estados Unidos y se pregunta: “Básicamente, dentro de la única tabla que debería representar a la población estudiada, hay tal sobreabundancia de cálculos erróneos, que uno se pregunta si un revisor habría examinado el manuscrito”.

Como corolario de las inconsistencias, el italiano utiliza otro gráfico: “Echemos un vistazo a las curvas de Kaplan-Meier utilizadas para demostrar la prevención de muertes por las diferentes vacunas. Si compara los gráficos que se muestran para Sputnik con los que se muestran para AstraZeneca mirando la figura E5 en los , resulta que las curvas son las mismas: los gráficos simplemente aparecen como copias entre sí”.

Como corolario de las inconsistencias, el italiano utiliza otro gráfico: “Echemos un vistazo a las curvas de Kaplan-Meier utilizadas para demostrar la prevención de muertes por las diferentes vacunas. Si compara los gráficos que se muestran para Sputnik con los que se muestran para AstraZeneca mirando la figura E5 en los , resulta que las curvas son las mismas: los gráficos simplemente aparecen como copias entre sí”.

Luego de detallar cada uno de los errores, el italiano concluyó con críticas a la revista científica: “Sería bueno, teniendo en cuenta todos los problemas destacados, poder acceder a los datos originales y verificar que, en todos los casos, los errores se deben simplemente a la falta de cuidado en el informe y la revisión de los datos; pero una vez más, como ya nos ha acostumbrado The Lancet, los datos originales no están disponibles para las comprobaciones necesarias, en el sentido de que los autores se reservan el derecho de facilitarlos en un plazo de nueve meses desde su publicación”.

“¿Hasta cuándo tendremos que presenciar la matanza de una buena idea científica y de un producto probablemente útil, aunque de producción compleja, por malos manuscritos con revisiones aún peores, publicados en revistas que se jactan de haber hecho la historia de la medicina?”, se preguntó Bucci y cerró: “Lectores y periodistas quedan advertidos una vez más: no tomen al pie de la letra lo que se publica en revistas científicas, especialmente aquellas que, teniendo una historia a sus espaldas, creen que su prestigio permite excusar la falta de revisiones serias para artículos de suma importancia”.

Las divergencias más notorias fueron corregidas y quien ingrese a leer el artículo en la web de la revista científica ya no verá, por ejemplo, el gráfico duplicado.

En un nuevo análisis, tras las correcciones Bucci comenta: En primer lugar, nos dice que todo el artículo original, como se informó, estaba afectado por errores: los datos están corregidos en 12 lugares diferentes en el texto principal, y la figura duplicada en el apéndice está corregida. Todo esto significa una sola cosa: que el texto original no había pasado ninguna revisión significativa, y que The Lancet, por tanto, está reincidiendo en seguir aceptando con los ojos cerrados cualquier comentario relativoa a la vacuna Sputnik, incluso cuando, como hemos argumentado en repetidas ocasiones, no sería una buena manera de obtener resultados útiles y significativos para ese producto. Además, como es el estilo de The Lancet, el hecho de que el artículo original es incorrecto ni siquiera se informa adecuadamente, como quisieran las directrices sobre el tema, que requieren un destacado resaltado en caso de correcciones u otros cambios”.

“Pero lo peor es otra cosa: aunque las correcciones realizadas certifican los problemas originales, no habla del conflicto de intereses de algunos de los autores. La revista sigue, obstinadamente, aceptando que los autores de este y otros trabajos sobre Sputnik pueden retrasar indefinidamente o denegar el acceso a los datos originales, en su totalidad”, se queja Bucci y agrega: “Ahora bien, esto sucede tras la publicación de la lista de disparates ahora corregida, demostrando que ni siquiera los revisores de la obra en su momento comprobaron esos datos; y por eso mismo la política de la revista parece inaceptable”.

Bucci agregó: “La corrección, en su forma actual, es insuficiente porque no hay forma de verificar si las correcciones aplicadas corresponden a los datos originales, ni se da ninguna justificación para la gran cantidad de errores. Sin acceso al conjunto completo de datos clínicos, ¿cómo se supone que la comunidad científica debe verificar un artículo como este, ya sea en su forma original o modificada?”

Referencias

KA Sheldrick et al, Am. J. Ther., 2022, DOI: 10.1097/MJT.0000000000001528

Cuestionan el estudio que publicó el Ministerio de Salud en The Lancet sobre la efectividad de Sputnik V https://www.lanacion.com.ar/sociedad/cuestionan-el-estudio-que-publico-el-ministerio-de-salud-en-the-lancet-sobre-la-efectividad-de-nid06042022/

The Lancet corrigió los errores del estudio del Ministerio de Salud sobre Sputnik V, pero siguen los cuestionamientos https://www.lanacion.com.ar/sociedad/the-lancet-corrigio-los-errores-del-estudio-del-ministerio-de-salud-sobre-sputnik-v-pero-siguen-los-nid22062022/

Effectiveness of rAd26-rAd5, ChAdOx1 nCoV-19, and BBIBP-CorV vaccines for risk of infection with SARS-CoV-2 and death due to COVID-19 in people older than 60 years in Argentina: a test-negative, case-control, and retrospective longitudinal study https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(22)00011-3/fulltext