Gonzalo Muñoz Agopian
Buenos Aires

 
Investigación en Psiquiatría

Enfoque crítico de artículos científicos.

*Daniel Serrani Azcurra (danielserrani@argentina.com)


Resumen

Introducción: vivimos en una era de medicina basada en evidencias y uno de los requisitos de idoneidad que se le requiere a un psiquiatra es ciertamente la habilidad de analizar la literatura científica de manera crítica y responsable. Es necesario tener nuestro conocimiento científico constantemente actualizado para asegurar además un manejo óptimo de los pacientes. El objetivo de este trabajo es presentar una introducción amena y accesible para la evaluación crítica de los artículos científicos.

Métodos: se revisa una selección internacional de literatura científica para poder ofrecer a los lectores algunos de los principios de una lectura crítica de artículos científicos en psiquiatría. Se omite en honor a la brevedad y sencillez una descripción detallada de los métodos estadísticos, para lo cual sin embargo el capítulo de investigación en Psiquiatría de APSA ofrece su espacio para cualquier duda o consulta en este tema especial a los socios de APSA .

Resultados: se detallan los métodos y principios más generalmente aceptados para la evaluación crítica de los artículos científicos, incluyendo conocimientos básicos de diseño de estudios, articulación de un artículo, rol de las diferentes secciones, o presentaciones estadísticas así como las fuentes de error y de las limitaciones. No se requiere de los lectores sin embargo un conocimiento científico extenso. En la medida de lo necesario para la evaluación crítica de los artículos se definen algunas áreas de interés especial como epidemiologia, clínica e investigación básica. Se presentan finalmente referencias útiles.

Conclusión: se requiere conocimientos metodológicos básicos para interpretar y seleccionar artículos científicos correctamente.

Palabras claves: publicación, enfoque crítica, toma de decisiones, evaluación de calidad, estudio.

Revista Sinopsis
Photo by Mari Helin on Unsplash


Con un creciente número de publicaciones científicas anuales, muchos médicos se encuentran cada vez menos tiempo para leer lo que otros han escrito. Desde 2011 a 2015, se publicaron solo en la rama de psiquiatría1. Las áreas más productivas fueron Norteamérica, Asia, Europa y Oceanía. Casi el 87.77% de las publicaciones fueron de países con ingresos altos comparados con el 12.07% de los países de menores ingresos. Hubo una correlación positive entre el PBI poblacional y el número de publicaciones (P < 0.01). Por ello la selección, valoración crítica y lectura de publicaciones actualizadas se vuelve una necesidad imprescindible para mantenerse al día en el campo. Esto también forma parte de los preceptos exigidos por la medicina basada en evidencia2. Además de los contenidos psiquiátricos de una publicación, su interpretación y evaluación también requieren comprensión de la metodología estadística. Con la excepción de algunas características específicas, estos principios estadísticos se aplican igualmente al campo experimental, clínico y epidemiológico.

En este creciente número de publicaciones científicas, muchos psiquiatras encuentran cada vez menos tiempo para leer lo que otros han escrito. Antes de comenzar a estudiar un artículo científico, el lector debe tener claras sus intenciones. Para obtener información rápida sobre un tema determinado, se aconseja leer una revisión reciente sistemática o meta-análisis3.
Las referencias en los artículos de revisión orientan al lector hacia una información más detallada sobre el tema de interés. En ausencia de revisiones recientes sobre el tema deseado, deben consultarse las bases de datos como PubMed, LILACS o Latindex. La lectura habitual de revistas especializadas es una forma obvia de mantenerse al día. El título del artículo y el Resumen ayudan al lector a decidir si el artículo merece más atención. El título da al potencial lector una primera impresión concisa y exacta del contenido del artículo. El resumen tiene la misma estructura básica como el artículo y representa los puntos esenciales de la publicación en gran medida en forma acortada. La lectura del resumen no sustituye la lectura crítica del artículo completo pero muestra mejor si los autores han tenido éxito en resumir sus objetivos.

La estructura de los artículos científicos es básicamente siempre la misma. El título, resumen y palabras cave son seguidos por el texto principal, dividido en introducción, métodos, resultados y debate (IMRD), terminando cuando corresponda con conclusiones y referencias.

Introducción: pretende familiarizar al lector con el tema de la investigación. Debe presentar el estado actual del conocimiento referente a la literatura reciente y la necesidad del estudio debe ser claramente establecida. Los resultados de los estudios citados se deben dar en detalle, citando resultados numéricos. Deben evitarse frases inexactas como " resultados inconsistentes," "algo mejores" y así en general. El texto debe dar la impresión de que el autor ha leído los artículos citados. En caso de duda se recomienda consultar estas publicaciones por uno mismo. Una buena publicación respalda sus conclusiones centrales con referencias a la literatura. Idealmente la sección debería progresar desde lo general a lo específico. En la introducción se detalla y explica claramente que pregunta se intenta responder y porqué se escoge un diseño como apropiado para responderla.

Métodos: esta sección tiene una cierta semejanza a un libro de cocina. La descripción de los procedimientos debe dar al lector "recetas" que pueden seguirse para repetir el estudio. Aquí se encuentran los datos esenciales que permitan la evaluación de la validez del estudio. Esta sección puede dividirse en subsecciones con sus propios títulos; por ejemplo, las técnicas de laboratorio pueden ser descritas por separado de los métodos estadísticos. Se deben describir todas las etapas de planificación, composición de la muestra del estudio (p. ej., pacientes, animales, líneas celulares), la ejecución del estudio y los métodos estadísticos4. Debe proporcionar información respecto de si el protocolo de estudio fue escrito antes de iniciarse el estudio, si la investigación fue precedida de un estudio piloto, determinar la ubicación y periodo de estudio especificado. En esta sección se debería informar si el estudio se llevó a cabo con la aprobación del Comité de ética correspondiente.

El elemento más importante de una investigación científica es el diseño del estudio. Si por alguna razón el diseño es inaceptable entonces también lo será el artículo independientemente de cómo se hayan analizado los datos. La elección del diseño del estudio debe ser explicada y representada en términos claros. Si no se describen aspectos importantes de la metodología, se aconseja al lector desconfiar. Si, por ejemplo, no se especifica el método de asignación al azar, como suele ser el caso, uno no debería asumir que la aleatorización se llevó a cabo de manera sistemática. Los métodos deben ser explicados con lucidez y a través de parámetros estadísticos complejos y procedimientos que los describan claramente, con referencias a la literatura. La tabla 1 contiene preguntas que pueden ser útiles en la evaluación de la sección de métodos.

Tabla 1






En el diseño de estudios experimentales es vital la representación exacta del diseño y la ejecución. Debe indicarse la precisión del método, es decir, su fiabilidad (precisión) y validez (exactitud). Por otra parte el poder explicativo de los resultados de un estudio clínico psiquiátrico se mejora por la inclusión de un grupo de control (activo, histórico, cohorte o controles placebo) y la asignación al azar de pacientes a los diferentes brazos del estudio. La calidad también puede ser mejorada por el cegamiento de los investigadores, que garantiza idéntico tratamiento y observación de todos los participantes del estudio Las investigaciones epidemiológicas pueden dividirse en estudios de intervención, estudios de cohortes, estudios de casos y controles, estudios transversales y estudios ecológicos5. La tabla 2 describe qué tipo de estudio se adapta mejor a qué situación. Como regla de todo estudio clínico psiquiátrico se debe incluir una estimación del número necesario de pacientes (tamaño de muestra) antes del comienzo del estudio.

Tabla 2




Existen recomendaciones internacionales especialmente formuladas para la notificación de los puntos esenciales a ser cumplimentados por los investigadores al momento de planificar y ejecutar un estudio de investigación6-19, las cuales se presentan en la tabla 3.

Tabla 3





Una característica distintiva de una buena publicación es llevar un registro preciso de los criterios de inclusión y exclusión. ¿Cuán alta fue la tasa de respuesta (%>80 es bueno, pero <30% es bajo), ¿y cuál fue la tasa de pérdidas (o atricciones) durante el seguimiento, por ejemplo, cuándo los participantes se alejan o reducen su cooperación con el estudio? Para determinar si los participantes difieren de los no participantes, deben incluirse los datos de los últimos también en el estudio. Los criterios de selección y las tasas de seguimiento permiten obtener conclusiones en cuanto a si la muestra es representativa de la población objetivo.

Revista Sinopsis
Librería El Ateneo.BsAs.Foto: LG
Un buen estudio debe incluir información sobre los valores faltantes. Particularmente en estudios caso-control, pero también en ensayos clínicos psiquiátricos no aleatorizados y estudios de cohorte. En dichos casos la elección de los controles debe ser descripta de manera precisa. Solo entonces uno puede estar seguro que el grupo control es comparable con el grupo de estudio y no muestra discrepancias sistemáticas que puedan conducir a falsas interpretaciones (confundidoras) u otros problemas. ¿Se explica cómo se llevaron a cabo las mediciones? ¿Se describen los instrumentos y técnicas, por ejemplo, aparatos, escala de valores medidos, datos de laboratorio y otros detalles sobre los intervalos de confianza y tamaño del efecto?20. Con respecto a la confiabilidad y validez, la escala de medición de las variables debe ser fácilmente visible para el lector (colorimétrica, nominal, ordinal, estadio de evolución, grado de severidad, métrica, subjetiva, etc.) y permitir determinar si las mediciones se realizaron bajo condiciones comparables y estandarizadas para todos los pacientes. Esto es así porque el tipo de escala determina qué tipo de datos y análisis serán posibles. Los análisis descriptivos emplean mediciones descriptivas y presentaciones gráficas y/o tabulares. En tanto que en los análisis estadísticos la elección del test a usar asume una importancia fundamental. La interpretación y poder de los resultados se ve influido por el tipo de escala, por ejemplo los datos de una escala ordinal no se deben expresar en términos de medias.Se debe determinar si se hizo un cuidadoso cálculo del poder de los resultados antes del estudio, ya que si el número de casos es muy bajo una diferencia real entre los tamaños de efecto de,por ejemplo, dos medicamentos antidepresivos, o el riesgo de enfermedad ante la presencia o ausencia de un factor ambiental podría no ser detectada. En esos casos se habla de un insuficiente poder estadístico. Finalmente las tablas y figuras pueden mejorar la claridad, y los datos en ellas deben ser auto-explicativos.


Resultados: deben presentarse clara y objetivamente, es decir, sin interpretación ya que la misma se reserva a la siguiente sección. La sección de resultados debe dirigirse a los objetivos del estudio y se presenta de manera estructurada, fácilmente entendible y coherente. Los resultados deben ser formulados descriptivamente, indicando parámetros estadísticos tales como número de casos, valores promedios, medidas de variación e intervalos de confianza. Esta sección debe incluir una descripción completa de la población de estudio. Un segundo inciso analítico describirá la relación entre las características, o estimará el efecto de un factor de riesgo, por ejemplo depresión, sobre una variable dependiente, es decir riesgo de suicidio, pudiendo incluir los cálculos de los modelos estadísticos apropiados. Además de información sobre la significación estadística en la forma de valores p, para una descripción completa de los datos el autor debe analizar sus resultados franca y abiertamente.
Independientemente del tipo de estudio21. Los objetivos son numerosos, entre otros la comparación de los resultados con el statu quo, en cuyo caso la discusión debe responder a las siguientes preguntas: ¿Qué ha añadido el estudio al cuerpo de conocimientos sobre el tema dado? ¿Qué conclusiones pueden extraerse de los resultados? Los resultados del estudio ¿llevarán al autor a reconsiderar o cambiar su propia práctica profesional, por ejemplo modificar un tratamiento, o tener en cuenta factores previamente ignorados? ¿Los hallazgos sugieren continuar realizando futuras investigaciones? ¿El estudio hace surgir nuevas preguntas antes no contestadas? ¿Cuáles son las implicaciones de los resultados para la ciencia, las rutinas clínicas psiquiátricas, los cuidados brindados al paciente o los estándares de buenas prácticas clínicas? ¿Los resultados están en sintonía con la mayoría de los estudios previos? Si tal no es el caso ¿que se debería hacer? ¿Los resultados aparecen plausibles desde el punto de vista psiquiátrico? Los Resultados deben considerarse desde el punto de vista de la plausibilidad biológica y psiquiátrica.

Discusión: debe dirigir su atención a las diferencias y hallazgos surgidos de la investigación y describir a los pacientes que no pudieron completar el estudio. También se deben discutir las posibles distorsiones en los resultados del estudio debido a valores faltantes22. Los errores sistemáticos son particularmente comunes en estudios psiquiátricos epidemiológicos, porque tienen un componente más observacional que experimental en naturaleza. En el caso de estudios de caso-control, una fuente típica de error es la determinación retrospectiva de la exposición de los participantes del estudio. Sus recuerdos pueden no ser precisos (sesgo de recuerdo)23. Una fuente frecuente de error en estudios de cohorte son los factores confundidores. Esto ocurre cuando dos factores de riesgo estrechamente relacionados entre sí se asocian ambos con una variable dependiente. Los errores de este tipo pueden ser corregidos mediante un ajuste para el factor confundidor. Por ejemplo, el hecho de que los pacientes depresivos fuman más que los pacientes no depresivos podría llevar a la conclusión errónea que la depresión se asocia con cáncer de pulmón. Si no se mencionan los factores de confusión potenciales en la publicación, el lector crítico debe preguntarse si los resultados no pueden ser invalidados por este tipo de error. Si es posible que los factores confundidores no hayan sido incluidos en el análisis, las posibles fuentes de error por lo menos deben debatirse críticamente. También deben publicarse resultados que no alcanzan significación estadística. Por desgracia, la mayor importancia todavía se sigue prestando a los resultados significativos, por lo que es más probable que sean publicados con respecto a los resultados no significativos. Este sesgo de publicación conduce a distorsiones sistemáticas en el cuerpo del conocimiento científico. Según una revisión reciente, esto es particularmente cierto para los estudios clínicos24. Sólo cuando son publicados todos los resultados válidos de un estudio bien planeado y correctamente realizado puede ser útil extraer conclusiones respecto al efecto de un factor de riesgo en la ocurrencia de una enfermedad, el valor de un procedimiento de diagnóstico, las propiedades de un medicamento, o el éxito de una intervención o tratamiento.

Análisis crítico de las limitaciones del estudio: ¿podrían las fuentes de sesgo ya sea aleatorias o sistemáticas en naturaleza haber afectado los resultados?25.Aun con una cuidadosa planificación previa del estudio, no se pueden excluir del todo los errores. Podría haber por ejemplo una inesperada alta tasa de pérdidas de seguimiento (ya sea que los pacientes se mudan o rechazan continuar participando). Cuando se comparan los grupos uno debería establecer si hubo diferencias entre los grupos en la composición de los participantes perdidos. Tal discrepancia podría eventualmente esconder una real diferencia entre los grupos, en el caso de un grupo control con respecto a un factor de riesgo. Una diferencia también podría surgir de una selección positiva en la población del estudio.
El investigador y la revista que publica el artículo están obligados a garantizar que las decisiones sobre cuestiones importantes se pueden tomar teniendo en cuenta todos los resultados válidos, científicamente fundamentados. No hay que olvidar que la significación estadística, la minimización de la probabilidad de un resultado al azar, no es lo mismo que relevancia clínica. Con una muestra suficientemente grande, incluso minúsculas diferencias pueden llegar a ser estadísticamente significativas, pero los resultados no son automáticamente relevantes. Esto es cierto tanto para los estudios epidemiológicos, desde la perspectiva de salud pública, como para estudios clínicos, desde la perspectiva de las prácticas cotidianas. En ambos casos, es necesaria una cuidadosa evaluación económica para decidir si se hace necesario modificar o mantener las prácticas existentes. En una población basal uno debe preguntarse con qué frecuencia se produce realmente el factor de riesgo de estudio y si un ligero incremento en el riesgo justifica intervenciones de salud pública amplia. Desde el punto de vista clínico, se debe considerar cuidadosamente si, por ejemplo, la eficacia ligeramente superior de un fármaco nuevo justifica el aumento de los costos y posiblemente una mayor incidencia de efectos secundarios. El lector debe apreciar la diferencia entre significación estadística y relevancia clínica con el fin de evaluar correctamente los resultados (tabla 4).

Conclusiones: los autores deberían concentrarse en los hallazgos más importantes. Una pregunta crucial es si las interpretaciones se siguen lógicamente de los resultados. Uno debe evitar conclusiones que son apoyadas sólo por datos propios o por los resultados de los demás. Es incorrecto referirse a un análisis exploratorio de datos como prueba. Incluso en estudios confirmatorios, los resultados de cada investigador deben, en aras de la coherencia, siempre considerar los resultados de otros investigadores. Cuando se evalúan los resultados y la formulación de las conclusiones, deben darse debida consideración a las debilidades del estudio. El estudio puede alcanzar objetividad sólo si se admite la posibilidad de resultados erróneos. La inclusión de resultados contribuye a la credibilidad del estudio. Resultados "No importantes" no se deben confundir con "no Asociación".

Tabla 4



Los llamados niveles de evidencia pueden ayudar al lector a decidir hasta qué punto su práctica debe ser afectada por el contenido de una publicación. Hasta que todos los investigadores ofrezcan reconocimientos de este tipo, la capacidad del psiquiatra para leer críticamente textos científicos seguirá jugando un papel decisivo en la determinación de si las prácticas diagnósticas y terapéuticas se basan en conocimientos actualizados.

Referencias: deben presentarse en el estilo estándar de la revista. La lista de referencias debe incluir todas las fuentes citadas en el texto, tablas y figuras del artículo. Es importante asegurarse que las referencias son actualizadas, con el fin de aclarar si la publicación incorpora nuevo conocimiento. Las referencias deben ayudar al lector a explorar el tema.
Agradecimientos y declaración de conflictos de intereses: Esta importante sección debe proporcionar información sobre cualquier patrocinador del estudio. Cualquier posible conflicto de intereses, financieros o de otro tipo debe ser revelado por completo.

Finalmente la tabla 5 resume lo esencial de las cuestiones que, cuando son respondidas, revelan la calidad de un artículo. No todas estas preguntas se aplican a cada publicación o tipo de estudio. Mediante el uso de una lista como esta y otras incluso derivadas de aplicaciones móviles puede evaluarse la validez estadística y metodológica de un estudio y mejorarla considerablemente26. No todos los puntos en esta lista de verificación pueden utilizarse para evaluar cualquier tipo de estudio; por ejemplo, la aleatorización es particularmente aplicable a los estudios psiquiátricos clínicos.

Tabla 5



Referencias:

Daniel Serrani. Médico psiquiatra, médico geriatra, Dr. en Psicología, docente investigador UNR, U. Maimónides, investigador invitado U. Waterloo (Canadá), Presidente del Capítulo de Investigación en Psiquiatría de APSA, jefe del Servicio de Salud Mental del Hospital Municipal de San Miguel, vicepresidente de la Sociedad de Geriatría y Gerontología de Rosario. Investigador de la Red Latinoamericana de Gerontología. Director del capítulo de investigación del Foro de la Tercera Edad dependiente de la Secretaria de Extensión Universitaria, Facultad de Psicología (UNR).