«Sin evidencia del efecto” versus “evidencia de no efecto”: ¿en qué se diferencian?
Publicado el julio 4, 2023 por Elpida Vounzoulaki
Traductor: Cañas Saldaña, Marco Uriel – Universidad de Guadalajara, Centro Universitario de Ciencias de la Salud
Autor y Link original: Elpida Vounzoulaki, ‘No evidence of effect’ versus ‘evidence of no effect’: how do they differ?
Entonces, ¿Cómo diferenciar “sin evidencia del efecto” de “evidencia de no efecto”?
La afirmación “sin evidencia del efecto” se traduce en la sugerencia de que, en general, el estudio no logró probar que el tratamiento o la intervención conduzcan al resultado esperado (p. ej., no hay evidencia de que el fármaco X pueda prevenir enfermedades del corazón).
La falta de evidencia del efecto no significa siempre que no hay un efecto en la vida real. Así, suponer que no hay un efecto suele ser el resultado de datos insuficientes. Por ejemplo, un estudio con un tamaño muestral pequeño podría no tener el poder suficiente para detectar una diferencia real. (1) Sin embargo, en ocasiones, incluso si un estudio tiene un tamaño muestral adecuado, existen otros factores influenciando los resultados, tales como la calidad del estudio. (1) Esto no debe confundirse de ninguna manera con la “evidencia de no efecto”.
Afirmar que existe “evidencia de no efecto” se traduce en sugerir que el tratamiento (o la intervención) es definitivamente no efectivo. Tales afirmaciones a menudo pueden ser peligrosas o engañosas cuando se usan en la práctica clínica diaria, así como en la toma de decisiones sobre políticas en salud.
La situación Actual
En un estudio por Smith y cols., con el objetivo de investigar con qué frecuencia los autores de revisiones Cochrane hicieron uso incorrecto de la afirmación “sin diferencia/no efecto”, se determinó que era menos común en revisiones publicadas en 2017 que aquellas publicadas a inicios de la década del 2000. (2) Estos hallazgos reflejan un esfuerzo global dedicado a minimizar los sesgos en la interpretación de los resultados; sin embargo, aún hay espacio para la mejora.
Cochrane recomienda evitar afirmaciones contundentes tales como “evidencia de no efecto” cuando interpretamos resultados de investigaciones y, en su lugar, confiar en afirmaciones más generales como “no hay suficientes datos/evidencia suficiente para indicar un efecto en la intervención, en comparación con el control, en términos de efectos sobre el [resultado]…”(3)
Sin embargo, debe tenerse en cuenta que la responsabilidad de interpretar de forma incorrecta los resultados de las investigaciones no siempre recae sobre los investigadores conductores que realizaron dichos estudios. Por ejemplo, los ensayos clínicos aleatorizados a menudo muestran una diferencia no significativa entre, por ejemplo, el tratamiento “X” y el tratamiento “Y” y, por lo tanto, se denominan “negativos”. (1)(4) Al denominar a estos ensayos “negativos”, se da a entender que han demostrado que no hay diferencia/no efecto, aunque, por lo general, lo que estos estudios muestran es que no hay evidencia suficiente o que no existe evidencia de la diferencia. (1)
Afirmaciones definitivas en la investigación: El gran problema
No obstante, el problema de la interpretación incorrecta en la investigación médica es más profunda. En los estudios, los autores a menudo usan pruebas de significancia estadística para llegar a conclusiones, y sugieren que “no hay una diferencia”, por ejemplo, entre dos tratamientos, o que “no hay un efecto” al usar una estrategia para la prevención de cierta enfermedad. (2) Estas afirmaciones contundentes a menudo se incluyen en los resúmenes (abstracts), que corresponden a la parte de un artículo que con mayor frecuencia es leída por la mayoría de los investigadores y compartida por los medios de comunicación.
Mientras la significancia estadística cumple su propósito, es importante no basar nuestra interpretación únicamente en el valor de p. En palabras mas simples, solo porque se determinó una diferencia estadísticamente significativa al comparar “X” con “Y”, no significa necesariamente que la investigación haya descubierto algo nuevo o, en caso contrario, cuando no se determine una diferencia estadísticamente significativa, no significa necesariamente que no existe una diferencia verdadera.
Veamos un sencillo ejemplo
Un ensayo clínico controlado aleatorizado publicado no mostró una diferencia significativa entre el tratamiento “X” y el placebo.
- Entonces, ¿Esto significa que el tratamiento no es útil y efectivo y, por lo tanto, no debe usarse en la práctica clínica?
- La respuesta es que esto no es necesariamente cierto, ya que existe la posibilidad de que el tratamiento “X” sea efectivo, pero el estudio no pudo probarlo, por la serie de razones mencionadas anteriormente. (4)
Una buena estrategia alternativa para confiar únicamente en valores de p, poco o nada informativos, es usar los intervalos de confianza. Si los valores de p se utilizan en el contexto de la prueba de hipótesis con estadística, deben ir acompañadas de las estimaciones puntuales correspondientes y los intervalos de confianza.
Los intervalos de confianza son particularmente útiles cuando se reportan “resultados no significativos”. En el ejemplo de abajo, el cual muestra dos resultados “no significativos” (5), la estimación que va acompañada de un intervalo de confianza amplio se explica potencialmente por un tamaño muestral pequeño y la posibilidad de un error aleatorio. Si bien no es significativo, el efecto estimado parece ser de alrededor de cuatro, sugiriendo que posiblemente sea importante, y que repetir el estudio con un tamaño muestral más grande podría demostrarlo. (5)
Fuente original Boston University School of Public Health. (5) Imagen modificada y adaptada por Hassan Mahmudul
Afirmaciones definitivas en la formulación de políticas en salud
Interpretar incorrectamente las afirmaciones “sin evidencia del efecto” y “evidencia de no efecto”, o confiar en afirmaciones absolutas producto de investigaciones basadas únicamente en el valor de p, puede ser peligroso, especialmente cuando se toman decisiones sobre la vida de los pacientes. Este fenómeno se ha observado en gran medida en las recomendaciones realizadas por las agencias de salud pública, en las cuales las decisiones deben ser tomadas con cuidado.
El lenguaje de la política en salud pública suele ser dicotómico lo cual significa que se basa en respuestas de SI o No, Correcta o Incorrecta. Esto a menudo conduce a que los resultados de la investigación se simplifican en exceso o se interpreten incorrectamente en un esfuerzo por brindar una guía al público que sea simple y directa. Para evitar estos problemas, los encargados de elaborar estas políticas deben trabajar en estrecha colaboración con los investigadores, y buscar su consejo, mientras que los investigadores, por otro lado, deben dejar en claro de que se trata su investigación, evitar exageraciones y reconocer las limitaciones.
Es extremadamente importante distinguir entre evidencia insuficiente para elaborar una política pública de la no existencia de evidencia para hacerlo. Es también crítico preguntarse si la ausencia de evidencia puede justificar la no toma de acciones cuando se trata de situaciones de salud pública.
Mensaje clave
Es extremadamente importante que los investigadores distingan entre «no hay evidencia de diferencia/efecto» y «evidencia de que no hay diferencia/efecto» y que los utilicen de apropiadamente al interpretar los resultados de una investigación.
Por lo tanto, los investigadores deben invertir parte de su tiempo en entender la diferencia entre esos términos con el fin de evitar una interpretación incorrecta de sus propios hallazgos de investigación, y además cuestionar estas afirmaciones contundentes cuando se utilizan en investigaciones publicadas.
En general, los investigadores deben tener en cuenta que: «La ausencia de evidencia no es evidencia de ausencia», mientras que los responsables de la elaboración de políticas públicas deben considerar cuidadosamente si la ausencia de evidencia puede justificar la falta de acción.
Referencias:
1. https://static.s4be.cochrane.org/app/uploads/2020/10/No-evidence-of-effect-Elpida-references.pdf
