Editorial

← vista completa

Estudios “pequeños”: ¿cuál es la importancia del tamaño en los estudios clínicos?

“Small studies” – does size matter in clinical trials?

Los estudios con bajo número de pacientes suelen ser tratados con desdén por los médicos clínicos. Muchas veces son los propios investigadores los que adoptan esta actitud, y se desisten de enviarlos a publicación, por considerar que su escaso tamaño muestral les resta importancia e interés. En Medwave hemos sostenido que daremos cabida a estudios pequeños, y para fundamentarlo proponemos aquí a los lectores una mirada más integral del tema, que responda a la pregunta que sirve de título a la editorial.

El cálculo del tamaño muestral constituye una de las materias de estudio clásicas en epidemiología clínica y es considerado un requisito básico del diseño de cualquier estudio epidemiológico. Esto tiene su fundamento principal en minimizar el riesgo de error Tipo II, es decir, no detectar una diferencia estadísticamente significativa cuando ella realmente existe1 2. La conocida máxima de Altman “la ausencia de evidencia no es evidencia de ausencia”1 ha sido utilizada por años para ilustrar cómo la correcta interpretación de resultados supuestamente “negativos” -cuando no se demuestra asociación o efecto- debe hacerse teniendo presente si el tamaño muestral de tales estudios es suficiente o no.

La mayoría de los estándares internacionales de publicación, tales como el CONSORT Statement (Consolidated Standards of Reporting Trials)4, establecen que los autores deben especificar en sus manuscritos cómo fue determinado el tamaño muestral de la investigación. No obstante, un estudio reciente de 165 revistas con alto factor de impacto, reveló que sólo un 37% de ellas tienen incorporadas estas recomendaciones entre sus "instrucciones a los autores", que en apenas un 14% es de cumplimiento obligatorio, y que menos de la mitad reconoce aplicarlas en su proceso de revisión por pares5. Ello explica en parte que un porcentaje importante de los estudios clínicos publicados omitan la descripción del procedimiento de cálculo del tamaño muestral, aún en revistas internacionales de alto prestigio revisadas por pares6. En nuestro medio, muchos de los estudios publicados son realizados por investigadores sin capacitación formal en métodos epidemiológicos y en bioestadísticas, lo que se traduce en debilidades metodológicas de los estudios, incluyendo un tamaño de muestra insuficiente.

Una revisión de este autor (datos no publicados) sobre una muestra representativa de los ensayos clínicos publicados en Chile entre 1980 y 2005, encontró que el tamaño muestral promedio de los ensayos fue de 78, con un rango entre 11 y 262; y que un 40% de los estudios tenía 40 sujetos o menos. Lo preocupante de esta revisión, sin embargo, no fue directamente el tamaño de los estudios, sino el hecho de que casi un 70% de ellos arrojó resultados negativos -estadísticamente no significativos-, pese a que más de la mitad mostraba un efecto de la intervención estudiada que era potencialmente relevante desde el punto de vista clínico. En términos globales, sólo un 20% de los estudios tenía un tamaño muestral que pudiera calificarse como adecuado. El fenómeno afecta casi por igual a los estudios publicados en versiones a texto completo como a los resúmenes de congresos, y tampoco ha mejorado con los años. A esto se suma que, en la muestra estudiada, ninguno de los ensayos evaluados hizo mención alguna a la metodología de cálculo del tamaño muestral en la publicación. Internacionalmente la situación no es muy distinta, y afecta también a las revistas calificadas como de “alto impacto”7.

Podemos entonces concluir que existe en la literatura científica un problema generalizado con el tamaño muestral de los estudios, que determina que muchas investigaciones no logren demostrar asociaciones o efectos estadísticamente significativos, simplemente porque el número de sujetos reclutados fue muy bajo. Pero el problema tiene otras facetas. Chile, como la mayoría de los países de Latinoamérica, tiene una población relativamente pequeña, y para un investigador que no pertenezca a alguno de los grandes centros de las urbes principales, hacer una investigación con el tamaño muestral ideal es virtualmente imposible.

Conceptualmente, un tamaño de muestra pequeño no implica necesariamente baja calidad o resultados menos confiables. En muchos casos simplemente no es necesaria una muestra grande. Esto porque el tamaño muestral se calcula para las necesidades de cada estudio, es decir, no hay números fijos. Si el evento que se mide es frecuente, y la magnitud de la asociación es relativamente grande, la muestra necesaria puede ser baja. Para demostrar que una terapia reduce cierto evento de 50% a 25% bastan alrededor de 60 sujetos por grupo. Para estudiar un factor pronóstico que disminuye la sobrevida, por ejemplo, desde 80% a 50%, bastan 40 por grupo. Y un estudio de casos y controles con un Odds Ratio de 7 -valor bastante frecuente de encontrar-, puede requerir menos de 20 pacientes por grupo. La evidencia empírica lo reafirma: cuando se han comparado los resultados de estudios pequeños con los de grandes ensayos, los resultados suelen ser consistentes, y cuando se detectan inconsistencias, éstas parecen estar relacionadas con el “sesgo de publicación” que afecta a los estudios negativos8 9. Este fenómeno, ampliamente conocido -no lo abordaremos aquí en detalle-, se refiere a la tendencia a no publicar los estudios con resultados estadísticamente no significativos, aunque sean de buena calidad, y se traduce en que observamos comúnmente los estudios con resultados más llamativos, mientras quedan ocultos y sin publicarse muchos estudios con resultados negativos pero igualmente válidos. Saber que un determinado factor aumenta el riesgo de cáncer es tan importante como enterarse que hay estudios que dicen lo contrario. Y frente a estudios publicados que nos dicen que una terapia funciona, es importante conocer los estudios que han encontrado que no lo hace. No publicar estudios pequeños, contribuye sin duda a ese sesgo.

Con frecuencia, se aduce que el problema de las muestras pequeñas es que no son representativas. En rigor esto tampoco es así. La representatividad, que se refiere finalmente a qué tan parecidos son los pacientes del estudio a los de la población que se desea investigar, depende más de la forma en que se reclutan los pacientes -por ejemplo si se utilizó o no un método de muestreo aleatorio- y de los criterios de inclusión aplicados, que del tamaño de la muestra. Una “gran” muestra puede no ser representativa, si al reclutar los pacientes éstos se seleccionan de manera sesgada.

Existen otros argumentos, algo más indirectos pero dignos de considerar, en reconocimiento del aporte que pueden realizar los estudios “pequeños”. Con el advenimiento de las revisiones sistemáticas algunos autores han llegado incluso a cuestionar la necesidad de estimar el tamaño muestral con demasiado énfasis, considerando que los metaanálisis permiten en muchos casos resolver la falta de poder de los estudios individuales, lo que de hecho es referido como una de las principales virtudes del método10. Es más, insistir en el diseño de estudios que individualmente provean resultados “definitivos” sería contraproducente, porque su tamaño muestral termina restando incentivo a los investigadores o financiadores, y con ello se pierde oportunidad de realizar estudios potencialmente relevantes. También se ha planteado que una postura más flexible al respecto favorecería la investigación de tratamientos para enfermedades raras, en las que reclutar un número alto de pacientes suele ser muy difícil.

En resumen, podemos concluir que:

  • Un tamaño muestral pequeño no es sinónimo de baja calidad ni de resultados menos confiables.
  • Los estudios de tamaño pequeño pueden ser un aporte, aún cuando carezcan de poder suficiente, para ampliar la base de conocimiento frente a patologías o desenlaces de baja ocurrencia.
  • Los estudios pequeños permiten la formación de investigadores en contextos donde un estudio mayor no es factible, y sus hallazgos pueden ser aprovechados al momento de realizar una revisión sistemática del tema.
  • Sin perjuicio de ello, los autores deben realizar una adecuada estimación del tamaño de muestra en sus investigaciones, reportar los métodos de cálculo, y las revistas deben velar por ello en sus normas de publicación y en sus procesos de revisión por pares.