Análisis crítico de la literatura
Medwave 2011 Nov;11(11):e5229 doi: 10.5867/medwave.2011.11.5229

Análisis crítico de la literatura: nociones básicas

Critical analysis of literature: The basics

Miguel Araujo Alonso

Resumen

El análisis crítico de la literatura es un proceso de evaluación que permite al lector formarse una idea del potencial de error en los resultados de un estudio, ya sea por sesgo o confusión. Se suele considerar además dentro del análisis crítico la apreciación del potencial de error por azar, la correcta interpretación de los resultados que arroja el estudio, y la aplicabilidad de los mismos a un determinado contexto de pacientes. Sin embargo, no hay una dicotomía entre estudios “válidos” y “no válidos”. Existen estudios de gran calidad, que cumplen rigurosamente los más importantes criterios de validez interna. En otro extremo, hay artículos con limitaciones metodológicas serias que les restan todo valor científico. ¿Qué condiciones debe cumplir un buen análisis crítico? Debe partir de una adecuada identificación del tipo de problema y del diseño utilizado por los autores; no debe ser realizado mecánicamente, sino en forma razonada, considerando las principales fuentes de sesgo que podrían afectar a ese estudio en particular; y por último, que un estudio no cumpla determinado criterio puede tener una explicación perfectamente plausible. Para finalizar, se definen y discuten los conceptos de validez interna y externa.


 

Introducción

El análisis crítico de la literatura es un proceso de evaluación que permite al lector formarse una idea del potencial de error en los resultados de un estudio, ya sea por sesgo -error sistemático- o confusión. El análisis crítico no entrega una sentencia definitiva sobre la condición de verdad de los resultados, pero nos aproxima indirectamente a ella, señalando hasta qué punto pueden considerarse confiables.

Se suele considerar además dentro del análisis crítico la apreciación del potencial de error por azar, la correcta interpretación de los resultados que arroja el estudio, y la aplicabilidad de los mismos a un determinado contexto de pacientes. No vamos a discutir si eso es pertinente o no. Todos esos componentes son necesarios al abordar un trabajo de investigación y serán tratados in extenso en los capítulos posteriores de esta serie; sin embargo, es importante que la secuencia sea correcta.

Si un estudio tiene un alto potencial de error, lo que se haga con esos resultados también lo tendrá. Si el estudio sobre una intervención es de baja calidad pero su resultado es atractivo (ej. disminución de la mortalidad en un 20%), podemos sentirnos tentados a aplicar la intervención haciendo caso omiso de la mala calidad del estudio. Antes de hacerlo, piense que podríamos someter a un grupo de pacientes a una intervención que en realidad es inefectiva, o cuyos efectos adversos superan los beneficios reales.

El mensaje es que, antes que nada, debemos analizar la validez interna del estudio (ver más adelante). Si parece razonablemente confiable, podemos interpretar y utilizar sus resultados según corresponda. Si no parece confiable, debemos ser cautelosos en la aplicación de los resultados, o simplemente no tomarlos en cuenta.

Como todo en epidemiología, aquí tampoco las cosas son en blanco y negro. No hay una dicotomía entre estudios “válidos” y “no válidos”. Existen estudios de gran calidad, que cumplen rigurosamente los más importantes criterios de validez interna. En otro extremo, hay artículos con limitaciones metodológicas serias que les restan todo valor científico. Y encontraremos también una amplia gama de situaciones intermedias. ¿Cómo enfrentarlas para decidir si un estudio es confiable o no? Utilizando el buen juicio, aplicando sus conocimientos epidemiológicos, y mirando al resto de la investigación existente en ese campo. Recuerde que para obtener conclusiones sobre la dirección y magnitud de las asociaciones en salud es necesario, además de evaluar los estudios en forma individual, que seamos capaces de analizar el conjunto de la evidencia disponible.

La tendencia inicial en quienes aprenden análisis crítico de la literatura es a descalificar en exceso los artículos que evalúan. Esta actitud debe ser moderada para que no conduzca al inmovilismo, en el que ningún trabajo es lo suficientemente bueno o confiable (“sesgo del epidemiólogo”). Veremos, además, que ciertos diseños poseen limitaciones intrínsecas en cuanto a su capacidad de controlar los sesgos.

El escenario global de la investigación clínica se encuentra plagado de estudios con deficiencias metodológicas, y hay que aprender a convivir con ello. Para algunos, esto ha llegado a constituir un “escándalo”:

D G Altman. The scandal of poor medical research. BMJ, Jan 1994; 308:283-284.

Y 10 años después, se siguen planteando las mismas inquietudes, esta vez con énfasis en los estudios observacionales:

E. von Elm and M. Egger. The scandal of poor epidemiological research. BMJ, October 16, 2004; 329(7471):868-869.

Como veremos más adelante, lo concreto es que es común encontrar deficiencias metodológicas en los estudios en todas las áreas de la medicina.

¿Qué condiciones debe cumplir un buen análisis crítico?

• Debe partir de una adecuada identificación del tipo de problema y del diseño utilizado por los autores.

Un error relativamente frecuente es analizar un estudio con criterios que no corresponden al tipo de pregunta o diseño en cuestión, por ejemplo, evaluar un estudio sobre pronóstico con los criterios de un ensayo clínico, o un estudio de pruebas diagnósticas con los criterios de un estudio sobre etiología.

A veces se dan condiciones que facilitan este tipo de confusiones, por ejemplo, cuando se realiza un estudio de cohorte utilizando para ello pacientes que formaron parte de un ensayo clínico, ya sea para evaluar efectos de largo plazo o para realizar otro análisis secundario:

Zhang L, Krzentowski G, Albert A, Lefebvre PJ. Risk of developing retinopathy in Diabetes Control and Complications Trial type 1 diabetic patients with good or poor metabolic control. Diabetes Care. 2001 Jul;24(7):1275-9.

• Que no sea realizado mecánicamente, sino en forma razonada, considerando las principales fuentes de sesgo que podrían afectar a ese estudio en particular.

El análisis crítico trata en gran medida de verificar, a través de la lectura del artículo, si el estudio cumple ciertos criterios o condiciones metodológicas deseables. Existen pautas de análisis crítico específicas para los distintos diseños de investigación. Quien realiza el análisis debe conocer los fundamentos metodológicos de cada uno de los criterios empleados en el análisis. No basta aprender de memoria qué debiera cumplir un estudio para ser confiable, debemos entender cabalmente el sentido y alcance de los criterios aplicados, y cuáles son los más importantes para ese estudio en particular.

• Que un estudio no cumpla determinado criterio puede tener una explicación perfectamente plausible.

El revisor debe considerar hasta qué punto, dadas las características del estudio, le son aplicables cada uno de los criterios de análisis. Imagine un ensayo clínico en el que se compara una intervención quirúrgica con un tratamiento farmacológico: ¿será razonable, por ejemplo, pedirle a ese estudio que sea doble ciego? Que no lo sea, ¿le resta validez? Por cierto sería ideal que fuera ciego, pero probablemente no sea razonable exigirlo, dada la dificultad obvia para cegar la intervención. Vea cómo se expresa esto en un ejemplo real:

Boutron I, Tubach F, Giraudeau B, Ravaud P. Methodological differences in clinical trials evaluating nonpharmacological and pharmacological treatments of hip and knee osteoarthritis. JAMA. 2003 Aug 27;290(8):1062-70.

Concepto de validez interna y externa

La validez interna de un estudio ha sido definida como la capacidad que tienen los hallazgos de la investigación, de representar la verdadera relación entre una exposición y un desenlace, bajo las circunstancias particulares en que fue realizado.

¿Qué podemos extraer de esta definición? En primer lugar, que la validez interna se refiere a la condición de verdad de los hallazgos, es decir, si los resultados del estudio efectivamente dan cuenta de lo que ocurre en la población en estudio o de la cual proviene la muestra. Recuerde que el hallazgo de una asociación en un estudio puede explicarse no sólo porque esa asociación efectivamente existe, sino también puede haber sido encontrada por azar, sesgo o confusión.

En segundo término, que la validez interna se refiere solamente a las condiciones en las que se realizó el estudio, es decir, a esos pacientes, y a las variables de exposición y resultado tal y como fueron definidas en él, y no a cualquier población ni a otras formas de medir el desenlace o a otras modalidades de la misma intervención.

Por otra parte, por razones obvias, el autor espera que sus hallazgos sean aplicables no sólo a pacientes idénticos a los del estudio, sino a un universo un poco más amplio.

Lamentablemente, no siempre la población del estudio es representativa del espectro de pacientes que uno encuentra en la práctica. A veces cuando se diseña un estudio se fijan criterios de inclusión que tienen como objetivo limitar sesgos o que se establecen simplemente por conveniencia práctica, y que afectan la representatividad de la muestra. Por ejemplo, imagine que desea evitar al máximo las pérdidas de seguimiento, para lo cual decide excluir a los pacientes que viven en zonas más alejadas o que no poseen teléfono en sus hogares. O al revés, podría extraer los sujetos de una población de la que espera alto grado de cooperación, digamos, estudiar un grupo de médicos y enfermeras. De hecho, varios estudios han sido hechos en profesionales de salud:

Kurth T, Kase CS, Berger K, Schaeffner ES, Buring JE, Gaziano JM. Smoking and the risk of hemorrhagic stroke in men. Stroke. 2003 May;34(5):1151-5. Epub 2003 Mar 27.

En este caso, la muestra usó una población de médicos. ¿Significa eso que al autor le interesa el comportamiento de las variables sólo en esos profesionales? Por cierto que no, su interés es la asociación entre tabaquismo y accidente vascular hemorrágico en los hombres en general, cualquiera sea su oficio.

En otras ocasiones, los pacientes se seleccionan entre aquellos que tienen más probabilidad de presentar el evento de interés, con el propósito de disminuir el tamaño muestral necesario para el estudio (en general mientras mayor es la proporción de eventos esperados, menor el número de sujetos que es necesario reclutar).

En otros casos, en cambio, los criterios son poco exigentes, precisamente para reflejar de mejor manera la población que uno esperaría encontrar en condiciones prágmáticas. Entonces, para evaluar estos aspectos al analizar un estudio, deberemos fijarnos en:

  • Los criterios de inclusión y exclusión utilizados.
  • Las características basales (la clásica Tabla 1 de cualquier artículo) de los pacientes enrolados en el estudio.
  • Los métodos de muestreo utilizados. Recuerde que la forma de obtener una muestra realmente representativa de una determinada población es realizar un muestreo aleatorio -al azar- de la misma; sin embargo, la mayoría de las investigaciones clínicas obtienen los pacientes de manera consecutiva.

En los ensayos clínicos, por diversas razones, del total de pacientes elegibles siempre existe una fracción que finalmente no ingresa al estudio, y que puede limitar la representatividad de la muestra:

Britton A, McKee M, Black N, McPherson K, Sanderson C, Bain C.  Threats to applicability of randomised trials: exclusions and selective participation. J Health Serv Res Policy. 1999 Apr;4(2):112-21.

La validez “externa” entonces se refiere a las inferencias que podemos hacer más allá de la población muestral o aquella que concierne al estudio. Para determinar si los resultados del estudio son extrapolables o aplicables a una población o contextos distintos, debemos utilizar el buen juicio y considerar, por ejemplo, cuál es el grado de dependencia del fenómeno estudiado de variables culturales o sociales. No es lo mismo un estudio que evalúa la efectividad de la aspirina (la cual debiera comportarse de manera similar en cualquier país que se utilice), que uno que evalúa los efectos de una estrategia educativa, cuyos resultados probablemente pueden variar mucho entre un contexto y otro.

La validez externa depende también de qué tan particular o específico fue el escenario donde se desarrolló el estudio, razón por la cual se considera que los estudios multicéntricos tienen en general mayor validez externa, porque reflejan un espectro de condiciones más amplio que el que ofrece un estudio ejecutado en un solo centro.

 

Licencia Creative Commons Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.
Dirección: Villaseca 21, Of. 702, Ñuñoa, Santiago de Chile.
Fono: 56-2-22743013
ISSN 0717-6384