Posibilidad de sesgo en los estudios de menor calidad

Uno de los fundamentos más importantes para analizar críticamente los estudios clínicos, es la evidencia sobre la asociación entre la calidad de un estudio y sus resultados. Esta asociación se expresa de la siguiente forma: a menor calidad metodológica, los estudios tienden a exhibir resultados más favorables a las intervenciones, es decir, tienden a sobreestimar la efectividad de las mismas. Los trabajos de Schulz y Moher aportaron pruebas empíricas de ello, respecto de los ensayos clínicos.

Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 273: 408-412.

Moher D, Pham B, Jones A et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses? Lancet 1998; 352: 609-613.

Sin embargo, como ocurre muchas veces en epidemiología, una observación no necesariamente se reproduce al estudiar nuevamente el fenómeno. Este y otros estudios (Clifford 2002, Emerson 1990) no demostraron asociación entre calidad y magnitud de los efectos:

Balk EM, Bonis PA, Moskowitz H, Schmid CH, Ioannidis JP, Wang C, Lau J. Correlation of quality measures with estimates of treatment effect in meta-analyses of randomized controlled trials. JAMA. 2002 Jun 12;287(22):2973-82.

O en un momento dado surge evidencia que, al contrario: encuentra que los estudios de mejor calidad tienden a mostrar efectos mayores:

Bausell RB, Lee WL, Soeken KL, Li YF, Berman BM. Larger effect sizes were associated with higher quality ratings in complementary and alternative medicine randomized controlled trials. J Clin Epidemiol. 2004 May;57(5):438-46.

La relación también se da en los estudios observacionales, cuando se comparan, respecto de la evaluación de un factor de riesgo, estudios de cohorte (“mayor validez”) con estudios de casos y controles (“menor validez”). Estos últimos tienden a sobreestimar el riesgo asociado a ese factor. En esta revisión, los estudios de casos y controles mostraron un mayor riesgo de cáncer gástrico por el consumo de carne procesada de 63%, mientras las cohortes sólo de un 24%.

Larsson SC, Orsini N, Wolk A. Processed meat consumption and stomach cancer risk: a meta-analysis. J Natl Cancer Inst. 2006 Aug 2;98(15):1078-87.

Y también ocurre al comparar cohortes de mayor calidad con las metodológicamente más débiles. En esta revisión, las cohortes de menor calidad (sin ajuste de variables confusoras) mostraban que había una asociación significativa, mientras las cohortes con ajuste decían que no.

Humphrey LL, Chan BK, Sox HC. Postmenopausal hormone replacement therapy and the primary prevention of cardiovascular disease. Ann Intern Med 2002;137: 273-84.

Por lo tanto, este fenómeno generalizado, bastante consistente, sugiere que las investigaciones de “menor calidad” efectivamente tienen una dosis mayor de sesgo, que desvía sus resultados, haciendo aparecer o aumentando la magnitud de las asociaciones (el efecto de la intervención, la importancia de un factor de riesgo).

¿Tienen mayor calidad los estudios publicados en las revistas de mayor prestigio?

¿Hay evidencia de asociación entre los indicadores de calidad e impacto de la revista y la de los artículos publicados en ella? Este podría ser un dato interesante para quien no desea complicarse la vida... bastaría con saber cuáles son las revistas más confiables y leer las conclusiones de los estudios contenidos en ellas.

Lee KP, Schotland M, Bacchetti P, Bero LA. Association of journal quality indicators with methodological quality of clinical research articles. JAMA. 2002 Jun 5;287(21):2805-8.

Nuevamente, la asociación existe, pero no podemos inferir que todos los estudios publicados en las revistas más famosas son confiables, o viceversa.

¿Reflejan los resultados del análisis crítico la calidad real de un estudio?

Cuando llevamos a cabo el análisis crítico de un estudio, utilizamos los datos aportados por el autor en la publicación. Esto tiene sus limitaciones. Que el autor no haya mencionado una determinada característica del estudio no quiere decir que no la posea:

• Imagine un estudio cuyo título señala que se trata de un ensayo clínico “randomizado”. En la sección métodos, sin embargo, el autor no especifica la técnica de asignación utilizada. ¿Qué implica esto? Simplemente, que no podemos asegurar que efectivamente sea randomizado. Quizás lo sea, quizás no.
• El autor tampoco indicó si se produjeron pérdidas de seguimiento, a lo mejor porque no las hubo y por lo tanto no consideró necesario mencionarlo, o quizás porque fueron importantes y prefirió omitir el dato.

Esto ha sido evaluado formalmente:

Soares HP, Daniels S, Kumar A, Clarke M, Scott C, Swann S, Djulbegovic B; Radiation Therapy Oncology Group. Bad reporting does not mean bad methods for randomised trials: observational study of randomised controlled trials performed by the Radiation Therapy Oncology Group. BMJ. 2004 Jan 3;328(7430):22-4.

Hill CL, LaValley MP, Felson DT. Discrepancy between published report and actual conduct of randomized clinical trials. J Clin Epidemiol. 2002 Aug;55(8):783-6.

Por ello, la calidad del reporte no debe confundirse con la calidad metodológica del estudio:

Huwiler-Muntener K, Juni P, Junker C, Egger M. Quality of reporting of randomized trials as a measure of methodologic quality. JAMA. 2002 Jun 5;287(21):2801-4.

También es importante recordar que muchas veces, por desconocimiento de los métodos epidemiológicos, los autores utilizan términos inadecuados para referirse a un aspecto del diseño del estudio, o confunden conceptos.

Ejemplos de estudios que describen resultados de análisis críticos

Referidos a especialidades, patologías o tipos de intervenciones específicas:

Latronico N, Botteri M, Minelli C, Zanotti C, Bertolini G, Candiani A. Quality of reporting of randomised controlled trials in the intensive care literature. A systematic analysis of papers published in Intensive Care Medicine over 26 years. Intensive Care Med. 2002 Sep;28(9):1316-23. Epub 2002 Jun 13.

Linde K, Jonas WB, Melchart D, Willich S. The methodological quality of randomized controlled trials of homeopathy, herbal medicines and acupuncture. Int J Epidemiol. 2001 Jun;30(3):526-31.

En revistas o grupos de revistas específicas:

Sonis J, Joines J. The quality of clinical trials published in The Journal of Family Practice, 1974-1991. J Fam Pract. 1994 Sep;39(3):225-35.

Otras variedades de estudio, además de los ensayos clínicos (estudios de pruebas diagnósticas, estudios observacionales):

Reid MC, Lachs MS, Feinstein AR. Use of methodological standards in diagnostic test research. Getting better but still not good. JAMA. 1995 Aug 23-30;274(8):645-51.