Introducción

Antecedentes de la metodología GRADE
El concepto de incorporar “evidencia” en la práctica clínica fue acuñado en Canadá por un grupo de médicos internistas y epidemiólogos clínicos de la Facultad de Medicina de la Universidad de McMaster, quienes consolidaron el concepto de medicina basada en la evidencia, dado que el incremento progresivo y abrumador de las publicaciones científicas no se asociaban con la certeza de estas. La medicina basada en la evidencia se sustenta en pilares (preferencias de los pacientes, pericia clínica y mejor evidencia disponible) los cuales contribuyeron al cambio de paradigma para estudiar y ejercer las ciencias médicas. Para simplificar el proceso de valorar cuál era la mejor evidencia disponible se necesitaba objetivar la “certeza” de esta.

La primera jerarquización de la evidencia fue formulada por la Canadian Task Force on the Periodic Health Examination en 1979, y fue adaptada cinco años más tarde por la US Preventive Services Task Force (USPSTF). Otra jerarquización ampliamente aceptada fue establecida en 1995 por el epidemiólogo David L. Sackett. Por lo tanto, en la actualidad coexisten diversas clasificaciones de la evidencia que se basan principalmente en el diseño de los estudios y habitualmente jerarquizan “niveles” de evidencia (I, IIa, IIb, III y demás). A su vez, existen varias clasificaciones de las recomendaciones según criterios predefinidos (grado A, B, C, etc.). El principal problema de estos sistemas es la falta de interoperabilidad, de manera tal que no siempre un “nivel I” o una recomendación “grado A” significa lo mismo para cada sistema[1]. Es por eso que surge GRADE, Grading of Recommendations Assessment, Development and Evaluation, como una definición unificada de la certeza de la evidencia que puede servir de insumo para la formulación de recomendaciones[2].

La certeza de la evidencia para las intervenciones es la seguridad o confianza de que el verdadero efecto se encuentra dentro de un rango particular o en relación con un umbral[3],[4]. Esta definición tiene dos implicaciones contextuales importantes: 

1. Las revisiones sistemáticas no deberían hacer recomendaciones, pues en estas la certeza de la evidencia refleja el grado de confianza en que una estimación del efecto es correcta. 
2. Los paneles que desarrollan recomendaciones para guías de práctica clínica deben emitir juicios sobre la certeza de la evidencia relacionada al contexto específico en el que se está utilizando la evidencia[3].

GRADE en la nueva pirámide de la evidencia
El nivel de evidencia representado por la antigua o tradicional pirámide de la evidencia otorgaba un nivel estático para los distintos diseños, posicionando a las revisiones sistemáticas y metanálisis en el nivel más alto de la pirámide. El modelo actual entiende a las revisiones sistemáticas como una lupa a través del cual se ve y aplica un análisis de la evidencia, siendo la certeza de la evidencia variable y dinámica para distintos estudios con un mismo diseño, tal como lo muestra la Figura 1[5]. A modo de ejemplo, para responder una pregunta terapéutica, un ensayo clínico puede no ser siempre el mejor diseño. Si este incorpora pocos pacientes, con sesgos relevantes, puede generar estimaciones menos confiables que un estudio de cohortes con gran cantidad de pacientes y un adecuado análisis de sus variables. En este ejemplo, la lupa que nos permite diferenciar los estudios en su estructura interna sería la revisión sistemática.

Figura 1.

Nueva pirámide de la evidencia.

Tamaño completo

En concordancia, el método GRADE surge como un marco para evaluar certeza de evidencia y para formular recomendaciones. Es así como para una determinada pregunta clínica terapéutica, un estudio observacional podría eventualmente tener mayor certeza de evidencia que un ensayo clínico aleatorizado o viceversa. Se debe tener en consideración que los estudios observacionales habitualmente se ubican por debajo de los ensayos clínicos, por debilidades intrínsecas de su diseño (por ejemplo, generalmente no establecen causalidad). Es importante también aclarar que este abordaje no elimina la necesidad inevitable de juicios con cierto grado de subjetividad, pero provee un marco para la sistematización y transparencia de los mismos[6].

Este artículo corresponde al tercero de una serie metodológica de revisiones narrativas acerca de tópicos generales en bioestadística y epidemiología clínica, las que exploran y resumen en un lenguaje amigable, artículos publicados disponibles en las principales bases de datos y textos de consulta especializados. La serie está orientada a la formación de estudiantes de pre y posgrado. Es realizada por la Cátedra de Medicina Basada en Evidencia de la Escuela de Medicina de la Universidad de Valparaíso, Chile en colaboración con el Departamento de Investigación del Instituto Universitario del Hospital Italiano de Buenos Aires, Argentina y el Centro Evidencia UC, de la Universidad Católica, Chile. El objetivo de este manuscrito es abordar los principales conceptos básicos teóricos y prácticos de la metodología GRADE para la valoración de la certeza de la evidencia de intervenciones.

La metodología GRADE

¿Qué es la metodología GRADE y cuál es su alcance?
Esta iniciativa surgió como respuesta a la existencia de múltiples sistemas de clasificación de la evidencia (por ejemplo, CTFPHC[7], USPSTF[8], CEBM , AHA/ACC[9], entre otros). A partir de un análisis exhaustivo de todos los sistemas de recomendaciones vigentes, la metodología GRADE ofrece un proceso transparente y estructurado para desarrollar y presentar síntesis de evidencia, incluida su certeza, para la confección de tablas resumen de hallazgos en revisiones sistemáticas y formulación de recomendaciones en la atención médica[6]. El alcance de la metodología GRADE incluye la valoración de la certeza de la evidencia y la fortaleza de las recomendaciones sobre intervenciones, pruebas diagnósticas y modelos pronósticos. Algunas de las especificidades de GRADE para distintos tipos de evidencia están en continuo desarrollo.

¿Qué significan las categorías otorgadas por GRADE?
Antes de evaluar los distintos pasos del proceso propuesto por GRADE, es conveniente saber qué significa cada categoría de certeza de evidencia[10].

Tabla 1.

Significado de los cuatro niveles de evidencia GRADE*.

Tamaño completo

Pasos propuestos por GRADE para evaluar la certeza de la evidencia

El proceso GRADE comienza con una pregunta explícita, que incluye las especificaciones de todos los desenlaces importantes y críticos (tema abordado en una próxima entrega de esta serie). A partir de esta pregunta y según el diseño metodológico utilizado, se define una certeza inicial, que luego se analiza de acuerdo con distintos dominios, modificando la certeza de la evidencia, para llegar finalmente a una “certeza final”. La Figura 2 muestra un resumen de los distintos pasos de la metodología GRADE.

Figura 2.

Resumen de la metodología GRADE.

Tamaño completo

Como se ha anticipado, el nivel de evidencia inicial otorgada por el diseño del estudio varía según distintos factores o dominios que lo influyen. Estos pueden disminuir la certeza de la evidencia o aumentarla[10]. Generalmente, los resultados derivados de ensayos clínicos comienzan con un alto nivel de certeza de evidencia inicial y aquellos derivados de los estudios observacionales con un bajo nivel de certeza, aunque esto excepcionalmente podría variar. 

Dentro de los dominios que bajan la certeza, se encuentran: 

1. El riesgo de sesgo.
2. La inconsistencia.
3. Evidencia indirecta. 
4. Imprecisión. 
5. El sesgo de publicación. 

Estos se registran con valores (-1) o (-2) dependiendo si el resultado del análisis del dominio se considera “serio” o “muy serio”, respectivamente.

Los factores que aumentan la certeza de la evidencia son: 

1. Gradiente dosis respuesta. 
2. Gran magnitud del efecto., 
3. Efecto de los potenciales factores de confusión residual. 

Estos también se registran con números (+1) o (+2) dependiendo del impacto.

A.     Dominios que disminuyen el nivel de evidencia
1) Riesgo de sesgo: tanto los ensayos controlados aleatorios como los estudios observacionales pueden incurrir en un riesgo adicional de resultados engañosos si presentan fallas en su diseño o conducta, lo que otras publicaciones denominan problemas de "validez" o "validez interna" y denominamos "limitaciones del estudio" o "riesgo de sesgo"[11]. El riesgo de sesgo puede desviar sistemáticamente de la verdad, disminuyendo la certeza en los resultados y en un metanálisis es más prudente confiar en aquel que presente un menor riesgo de sesgo. Cabe destacar que riesgo de sesgo no es lo mismo que sesgo, siendo este último el error sistemático, y el riesgo de sesgo la evaluación subjetiva de la probabilidad de este error. Existen numerosas herramientas para evaluar el riesgo de sesgo en los ensayos aleatorizados y los estudios observacionales (por ejemplo, las herramientas desarrolladas por Cochrane: RoB 2 y ROBINS-I respectivamente)[11],[12].

Ejemplos 1a y 1b. Niveles de riesgo de sesgo.

1a. Bajo riesgo de sesgoUna revisión sistemática sobre el uso de medias de compresión graduada para la prevención de la trombosis venosa profunda incluyó 20 ensayos controlados aleatorizados con 1681 participantes. En general, los estudios incluidos presentaron un bajo riesgo de sesgo al aplicar herramientas que lo evalúan. Por lo tanto, se mantuvo la evidencia de certeza alta sobre la afirmación de que las medias de compresión graduadas son efectivas para reducir el riesgo de trombosis venosa profunda en los pacientes hospitalizados sometidos a cirugía general y ortopédica, con o sin otros métodos de tromboprofilaxis de base, cuando resulte clínicamente apropiado[13].
1b. Alto riesgo de sesgoUna revisión sistemática incluyó tres ensayos clínicos aleatorizados con el objetivo de comparar la cirugía versus el tratamiento conservador en el manejo de la hernia de disco lumbar. El beneficio de la cirugía en la reducción de los síntomas después de un año o más es incierto, puesto que se consideró que los ensayos tenían un inadecuado ocultamiento de la asignación y los desenlaces fueron evaluados por cirujanos utilizando una herramienta no validada de calificación, sin cegamiento. Estas características constituyen un alto riesgo de sesgo que justifica una disminución de dos niveles de evidencia: de alta a baja certeza de la evidencia[14],[15].

2) Inconsistencia (heterogeneidad): la inconsistencia se refiere a la variación de las estimaciones del efecto (incluyendo el intervalo de confianza) habiendo excluido las principales causas de dicha variación[16]. A modo de ejemplo, el efecto de un medicamento puede variar de un estudio a otro debido a la variabilidad de los elementos de la pregunta PICO (pacientes, intervención, comparación, outcome o desenlace) en cada uno de los estudios. Sin embargo, si dicha variabilidad no justifica las diferencias en la estimación del efecto, la certeza de la evidencia disminuye.

Para evaluar la inconsistencia en la estimación del efecto, inicialmente se debe evaluar el grado de superposición entre los resultados de los estudios. Si existe solapamiento entre los intervalos de confianza de las estimaciones de cada estudio primario, se establece que hay consistencia entre los estudios. Por el contrario, si no hay solapamiento en los intervalos de confianza, estos estudios son inconsistentes entre sí. Esto resulta más fácil de entender a través del análisis de un Forest plot (Ejemplo 2).

Además, es posible acudir a pruebas estadísticas como la prueba de heterogeneidad, en que un valor p bajo indica inconsistencia y el estadístico I², que cuantifica la proporción de la variación en las estimaciones puntuales debido a diferencias entre estudios: a mayor I² mayor es la inconsistencia (< 40% es bajo, 30 a 60% moderado, 50 a 90% sustancial y 75 a 100% considerable)[16].

Es importante aclarar que este dominio no tiene relación con la línea de no efecto.

Figura 3.

Ejemplo de Inconsistencia.

Tamaño completo

3) Evidencia indirecta: la evidencia indirecta se refiere a los problemas emergentes en la concordancia entre los elementos de la pregunta pacientes, intervención, comparación, outcome o desenlace de la evidencia y la misma pregunta de la revisión sistemática o guía que usa dicha evidencia. La evidencia puede ser indirecta con respecto a la pregunta de interés cuando hay diferencias en los pacientes, las intervenciones o en los resultados[18]. Esto significa que el resultado planteado en la pregunta no es respondido por el estudio, sino que en su reemplazo utiliza un resultado distinto, pero que indirectamente podría brindar información de lo establecido en nuestra pregunta. 

4) Imprecisión[19]: se establece que los resultados son imprecisos cuando los estudios incluyen relativamente pocos pacientes y pocos eventos; consecuentemente tienen intervalos de confianza amplios alrededor del efecto, lo cual no permite estimar claramente la magnitud de este.

La precisión se puede evaluar de dos maneras: 

a) Examinando los extremos del intervalo de confianza de la estimación del efecto en relación con un umbral. 

b) Evaluando la cantidad de datos disponibles con relación a un tamaño óptimo de información (optimal information size). 

Para el primer abordaje es necesario definir qué umbral se utiliza para estimar que un efecto es clínicamente relevante y su magnitud (efecto pequeño o sustancial). Habitualmente se puede tomar como referencia la diferencia mínima importante, por ejemplo, para los desenlaces continuos (Figura 4). Para el segundo abordaje es necesario realizar un cálculo de tamaño muestral de un ensayo clínico con poder adecuado para el desenlace que se evalúa. Si el intervalo de confianza cruza el umbral establecido o la cantidad de datos no alcanza el tamaño óptimo de información, se considerará bajar un nivel la certeza.

Gráficamente, lo que debe analizarse es el intervalo de confianza del metanálisis (no de los estudios individuales) representado por las figuras de diamantes en el Forest plot que se muestra como ejemplo en la Figura 4.

Figura 4.

Figura explicativa del concepto de imprecisión en relación con la significancia clínica.

Tamaño completo

La diferencia mínima importante (MID por su sigla en inglés, Minimal Important Difference) corresponde a la menor diferencia de puntuación en el desenlace de interés que los pacientes consideran importante, y que podría indicar un cambio en el tratamiento[11]. Este concepto, que será profundizado en un futuro artículo de la serie, relaciona la magnitud del cambio con las decisiones de tratamiento en la práctica clínica, enfatizando que prima la percepción del paciente por sobre la significancia estadística. Este concepto es aplicable a desenlaces con valores continuos como aquellos que utilizan escalas (por ejemplo, la escala visual analógica para determinar la intensidad del dolor), mientras que en un desenlace dicotómico (como la mortalidad) la estimación de efecto es mediante los riesgos relativos, Odds ratio o Hazard ratio. Para los desenlaces dicotómicos no hay umbrales preestablecidos como la diferencia mínima importante, sin embargo, se toman como valor de referencia orientativos los riesgos relativos de 0,75 y 1,25 para evaluar la precisión de los resultados. Estos valores umbrales relativos se traducen en diferencia de riesgos absolutas, que son las más importantes para la toma de decisiones. Por ejemplo, un riesgo relativo de 0,75 podría implicar una reducción del riesgo absoluto de mortalidad de 40 a un 30% (10% de diferencia de mortalidad). Si el evento es más raro, un riesgo relativo de 0,75 puede ser menos relevante. Por ejemplo, podría implicar una reducción en la mortalidad específica por cáncer de 4 por 1000 a 3 por 1000 (1 por mil de diferencia de mortalidad).

Ejemplos 4a y 4b. Precisiones de valor contínuo y descenlace dicotómico.

4a. Valor continuo impreciso.En el caso del hombro doloroso, la escala más utilizada es la Constant Murley Functional Assessment graduada del 0 al 100. En esta escala, una diferencia mínima importante corresponde a una variación de 10,4 puntos[20]. Por ejemplo, si en un estudio se determina que luego de una cirugía determinada, el dolor de los pacientes disminuye 11 puntos (intervalo de confianza del 95%; de -9 a -12) en esta escala, se podría considerar como una intervención clínicamente significativa. Sin embargo, al examinar los extremos del intervalo de confianza, se observa imprecisión al incluir un escenario en el cual esta diferencia puede ser clínicamente insignificante (porcentaje de pacientes que disminuirían su dolor entre 9 y 10,3).
4b. Desenlace dicotómico preciso.En el síndrome de parto prematuro, el riesgo absoluto de mortalidad intrahospitalaria en pacientes recién nacidos entre 24 y 31 semanas es alrededor del 20%. La administración de corticoides antenatales demostró un riesgo relativo de 0,5 (intervalo de confianza del 95%; de 0,4 a 0,6)[21] en mortalidad intrahospitalaria respecto a la no administración. Por su intervalo de confianza, se sabe que la intervención se encuentra por debajo del umbral (0,75 usado como valor referencial). Por lo tanto, es una intervención que muestra un efecto sustancial en todo el rango de efectos posibles. Esto se traduce también como una reducción del riesgo absoluto de mortalidad neonatal entre 8 y 12%.

5) Sesgo de publicación[22]: es posible que existan estudios cuyos resultados se opongan a los resultados del metanálisis y que estos no hayan sido incluidos, ya sea porque no fueron publicados o porque se encuentran en revistas no indexadas. Típicamente, estos estudios suelen tener resultados “negativos” (es decir, que no muestran un efecto significativo a favor de la intervención). En ese caso, se habla de sesgo de publicación. No obstante, este sesgo es difícil de detectar, en consecuencia, resulta difícil bajar el nivel de evidencia por esta causa y si se hace será un peldaño (-1).

La forma de analizarlo es con un gráfico llamado Funnel Plot (Figura 5), que representa cómo se distribuyen los estudios en relación al efecto real del estudio; cuando tiene forma de embudo no habría sesgo. Si existe este sesgo, veremos un espacio entre los estudios dando esta imagen de pirámide truncada, como ocurre en la Figura 5, con estudios que contradicen la intervención.

Figura 5.

Ejemplo de Funnel plot.

Tamaño completo

B. Dominios que aumentan el nivel de evidencia

Si bien el mayor protagonismo se lo llevan los factores que disminuyen el nivel de certeza, es importante saber que existen factores que pueden aumentarlo. Para ello se requieren dos condiciones: que el estudio sea observacional y que no presente ninguna de las limitaciones (sesgos) previamente comentadas. Existen tres motivos para aumentar en un punto su nivel de certeza:

1) Gran magnitud de efecto: si el cuerpo de la evidencia arroja estimados grandes o muy grandes de la magnitud del efecto de una intervención, es posible tener más confianza acerca de los resultados. En tales ocasiones, a pesar de que los estudios observacionales tienen mayor probabilidad de sobreestimar el efecto verdadero, el diseño del estudio que es más propenso al sesgo es poco probable que explique la totalidad del beneficio o riesgo aparente. Por ejemplo, un metanálisis de estudios observacionales mostró que los cascos de bicicleta reducen el riesgo de lesiones en la cabeza en ciclistas por un amplio margen (razón de probabilidades Odds ratio 0,31; intervalo de confianza del 95%: 0,26 a 0,37). Este gran efecto, en ausencia de un sesgo obvio que pudiera crear la asociación, sugiere una calificación de evidencia de calidad moderada en vez de baja[23].

2) Gradiente dosis respuesta: la existencia de un efecto dosis-respuesta también aumenta el nivel de certeza. Por ejemplo, en usuarios de anticoagulantes hay una gradiente dosis respuesta entre niveles más altos de INR (International Normalized Ratio, indicador del grado de anticoagulación) y el riesgo aumentado de sangrado. Esto aumentaría nuestra confianza en cuanto a qué niveles supra terapéuticos de anticoagulación podrían aumentar el riesgo de sangrado.

3) Efecto de los potenciales factores de confusión residual: Al momento de evaluar la evidencia, se considera la posibilidad de que existan factores de confusión que reduzcan o incrementen un determinado efecto. Cuando el resultado obtenido no se ve afectado por estos factores, es posible aumentar la certeza en un nivel. Por ejemplo, si en un análisis se considera que las personas que usan condón es probable que tengan más parejas sexuales, sería esperable que en esta población el riesgo de infección por virus de la inmunodeficiencia humana (VIH) sea mayor. Sin embargo, este factor no redujo el efecto demostrado del preservativo, por lo que constituye una medida tan efectiva para la prevención de la transmisión del virus de la inmunodeficiencia humana que supera a este factor de confusión[24].

Tablas resumen de hallazgos o Summary of Findings

Todo este proceso planteado por GRADE se resume de manera bastante sencilla en las tablas resumen de hallazgos (Summary of Findings Tables) o tablas SoF por su sigla en inglés. Estas tablas muestran todo el proceso por cada desenlace, con efecto relativo, absoluto, certeza de evidencia (con su justificación), y el mensaje clave en lenguaje controlado.

Figura 6.

Tabla resumen de hallazgos acerca de tratamiento con sialogogos y tratamiento no farmacológico para xerostomía.

Tamaño completo

Lenguaje controlado

Una vez que se obtuvo la certeza de evidencia, esta debe comunicarse mediante un lenguaje controlado, que consiste en transmitir en palabras simples todo el proceso anteriormente realizado. En la tabla resumen de hallazgo se explicita en la casilla de la derecha titulada “mensaje clave en términos sencillos”, en donde, frases como “probablemente aumenta el flujo salival/efectos adversos” reflejan certeza moderada; y afirmaciones como “reduce la sensación de boca seca” reflejan certeza alta. Cabe señalar que no existe una traducción oficial al español, por lo que se trata de una propuesta propia de adaptación.

Conclusiones

Actualmente la metodología GRADE es uno de los principales métodos utilizados internacionalmente en el desarrollo de guías y recomendaciones clínicas, ya que provee un marco claro y transparente para valorar y presentar de la certeza de la evidencia. Si bien el grupo GRADE aborda de manera acabada cada uno de los conceptos en su extensa serie sobre esta metodología, al inicio su entendimiento y aplicación puede resultar abrumadora para los principiantes. 

Por medio de descripciones sencillas y acompañadas de ejemplos sobre los elementos fundamentales de la metodología GRADE, este artículo busca entregar un acercamiento simplificado y resumido para su entendimiento y aplicación por el público general, estudiantes y los nóveles metodólogos.