Publicado el 1 de febrero de 2012 | http://doi.org/10.5867/medwave.2012.02.5310
Aplicaciones del análisis crítico y principales métodos existentes
Applying critical analysis - main methods
Resumen
¿Para qué se utiliza el análisis crítico de la literatura? El análisis crítico es condición básica para la correcta interpretación de cualquier estudio que hayamos decidido revisar. En epidemiología, para aprender a “leer” una publicación debemos poder analizarla críticamente. El análisis crítico permite además verificar si un estudio cumple ciertos criterios de inclusión y exclusión previamente establecidos, en lo que a su calidad metodológica se refiere. Esto se usa con cierta frecuencia al ejecutar revisiones sistemáticas de la literatura, aunque generalmente los criterios de elegibilidad se restringen sólo al tipo de diseño de investigación utilizado. El análisis crítico de la literatura se puede realizar de manera implícita durante la lectura de un artículo -por ejemplo cuando se lee un estudio aislado por interés personal-, o bien puede llevarse a cabo estructuradamente, en base a criterios previamente establecidos de manera explícita. Esto último es lo que ocurre cuando se lleva a efecto una revisión formal de un tema.
Aplicaciones del análisis crítico
¿Para qué se utiliza el análisis crítico de la literatura? El análisis crítico es en primer lugar, condición básica para la correcta interpretación de cualquier estudio que hayamos decidido revisar. En epidemiología, para aprender a “leer” una publicación debemos poder analizarla críticamente.
El análisis crítico permite además verificar si un estudio cumple ciertos criterios de inclusión y exclusión previamente establecidos, en lo que a su calidad metodológica se refiere. Esto se usa con cierta frecuencia al ejecutar revisiones sistemáticas de la literatura, aunque generalmente los criterios de elegibilidad se restringen sólo al tipo de diseño de investigación utilizado (por ejemplo, que se trate de ensayos aleatorizados). En las revisiones sistemáticas de estudios observacionales, por su parte, suele aplicarse algún criterio de calidad metodológica específica, por ejemplo que los estudios incluyan algún método de ajuste de variables pronósticas:
Una vez resuelto qué estudios son los elegibles para la revisión, permite efectuar análisis de sensibilidad, es decir, evaluar en qué medida los resultados de los estudios varían en función de su calidad metodológica. Por ejemplo, un análisis de sensibilidad podría explorar si los resultados del tratamiento son los mismos al combinar por separado los estudios de baja calidad metodológica, y aquellos calificados de alta calidad, o al comparar estudios con distinto potencial de sesgo:
En ocasiones, al combinar estudios en una revisión sistemática, se utilizan técnicas de análisis estadístico para explorar si existe asociación entre las características metodológicas o clínicas de los estudios y la magnitud del efecto observado en ellos. Por ejemplo, a través de un análisis multivariado mediante regresión logística, se puede evaluar si existe asociación entre el uso de ciego, el encubrimiento de la asignación de los pacientes a los grupos, o ciertas características basales de los sujetos (variables de exposición), y el efecto detectado en cada estudio (variable de resultado). A estas técnicas se les conoce como meta regresión:
Principales métodos existentes
El análisis crítico de la literatura se puede realizar de manera implícita durante la lectura de un artículo -por ejemplo cuando se lee un estudio aislado por interés personal-, o bien puede llevarse a cabo estructuradamente, en base a criterios previamente establecidos de manera explícita. Esto último es lo que ocurre cuando se lleva a efecto una revisión formal de un tema.
Tradicionalmente han existido dos métodos principales de análisis crítico estructurado:
- Las listas de chequeo, es decir, una serie ordenada de criterios cuyo cumplimiento debe verificarse revisando el texto del estudio, y que en general serán calificados con un “Sí” (cumple), un “No”, o un “No se sabe/No se puede decir” (más la siempre presente columna de observaciones y comentarios).
- Las escalas, en las que al cumplimiento de cada criterio se asocia un puntaje. La suma de los puntajes por factor da lugar a un puntaje final de calidad. La crítica a estos modelos ha sido que no dan cuenta apropiadamente del valor relativo que cada criterio tiene para un estudio en particular. Un mismo puntaje en dos estudios puede representar amenazas a la validez muy distintas.
Como ya hemos señalado, estos métodos no bastan por sí mismos para calificar la validez interna del estudio. Es necesario ir más allá y estimar cuánto sesgo puede esperarse de la falta de cumplimiento de un criterio en cada caso.
El modelo más tradicional de análisis crítico, diseñado en función del tipo de pregunta de investigación (diagnóstico, etiología, pronóstico, tratamiento, etc.), fueron las “Users’ guides to the medical literature” publicadas en una famosa serie en JAMA. Estas guías estaban estructuradas sobre ejemplos prácticos, en un formato coloquial, y dividían el análisis en 3 secciones:
I. ¿Son válidos los resultados de este artículo? [Are the results of this article valid?]: En esta sección se identifican criterios primarios y secundarios de validez interna del estudio.
II. ¿Cuáles son los resultados? [What were the results?]: Analiza la magnitud y precisión de los resultados.
III. ¿Ayudarán los resultados al cuidado de mis pacientes? [Will the results help me in caring for my patients?]: Analiza la significación clínica y la validez externa de los resultados.
La mayoría de las listas de chequeo y escalas existentes han sido diseñadas para evaluar ensayos clínicos. Moher hizo una recopilación de ellas en 1995 y encontró 25 versiones distintas:
Más recientemente, Katrak identificó 121 instrumentos publicados para el análisis crítico de estudios clínicos de distinta naturaleza:
Una lista de chequeo puede ser breve o muy extensa, como la del ejemplo siguiente:
| Checklist for reviewing reports of clinical trials |
| Did the trial: 1. Specify outcome measures (endpoints) prior to the trial. 2. Provide patient inclusion/exclusion criteria. 3. Specify Alfa-level for defining statistical significance. 4. Specify Beta-level (power) to detect a treatment effect of a given meaningful magnitude. 5. Make a prior estimate of required sample size (to satisfy levels of Alfa and Beta). 6. Use a proper method for random allocation of patients to treatment and control groups. 7. Use blinding (where possible): a. in the randomization process b. for patients regarding their treatment c. for observers/care givers regarding treatment d. in collecting outcome data 8. State the numbers of patients assigned to the respective treatment and control groups. 9. Clearly describe treatment and control (including placebo where applicable). 10. Account for patient compliance with treatments/regimens. 11. Account for all events used as primary outcomes. 12. Account for patient withdrawals/losses to follow-up. 13. Analyze patient withdrawals/losses to follow-up: a. by intention-to-treat b. by treatment actually received 14. Account for treatment complications/side effects. 15. Provide test statistics (e.g., F, t, Z, chi-square) and P values for endpoints. 16. Provide confidence intervals or confidence distributions. 17. Discuss whether power was sufficient for negative trials. |
Esta profusión de sistemas alternativos para evaluar los estudios llevó al anestesiólogo y epidemiólogo clínico Alex Jadad a formular la primera versión “validada” de una escala de análisis crítico para ensayos clínicos, diseñada originalmente para investigaciones sobre el manejo del dolor. Por su simpleza y la forma rigurosa en que fue formulada, esta escala ganó gran aceptación entre quienes realizan revisiones sistemáticas y metaanálisis, y aunque todavía se debate si debiera aplicarse o no, probablemente sea la más utilizada. La calidad de la escala se basa en su validez de constructo y la consistencia de sus resultados:
Siendo tan famosa, es bueno conocerla:
Figura 1. Validated quality scale.
¿Cómo se aplica?
- Asigne 1 punto al estudio si aparece descrito como randomizado.
- Asigne 1 punto adicional si aparece descrito como doble ciego.
- Asigne 1 punto adicional si incluye una descripción de los abandonos y pérdidas de seguimiento.
- Asigne 1 punto adicional si verifica que el método de randomización fue apropiado; en caso contrario, reste un punto.
- Asigne 1 punto adicional si verifica que el ciego fue apropiado; en caso contrario, reste un punto.
Interpretación: Rango de puntajes posibles 0-5
Baja calidad: menos de 3
La validez de la escala de Jadad ha sido sometida a prueba por algunos autores, para evaluar si su aplicabilidad es la misma en otras áreas fuera del manejo del dolor, y también se han formulado ya versiones “modificadas” de la escala original:
En relación al análisis de ensayos clínicos, citaremos también a Schulz, porque su trabajo dio lugar a que la verificación del “encubrimiento de la asignación” [allocation concealment] en un ensayo clínico sea el criterio de análisis crítico único más utilizado en la literatura, particularmente en las revisiones sistemáticas de la colaboración Cochrane:
A partir de estos trabajos pioneros, se siguen haciendo esfuerzos por generar instrumentos válidos para analizar la calidad de los estudios, no sólo en el ámbito de los ensayos clínicos aleatorizados, sino en todas las formas de investigación clínica. En siguientes entregas de esta serie haremos referencia a los más recientes y metodológicamente más sólidos en las áreas de diagnóstico y aquéllos orientados al análisis de estudios observacionales.
