Introducción
En los últimos años, ha crecido el interés por desarrollar sistemas de inteligencia artificial (IA) que mejoren la prestación de servicios de salud y los resultados médicos mediante el uso de registros médicos electrónicos (EHR). Un paso clave en este proceso es la extracción y captura de las características de los pacientes a partir de EHR longitudinales. Cuanta más información tengamos sobre los pacientes, más efectivos serán los sistemas de IA médica que podamos diseñar.
En las últimas décadas, los hospitales y centros médicos de Estados Unidos han adoptado rápidamente los sistemas EHR, lo que ha generado enormes almacenes de datos electrónicos de pacientes. Estos datos incluyen tanto información estructurada (como códigos de enfermedades y medicamentos) como no estructurada (por ejemplo, narrativas clínicas en notas de progreso). Aunque la documentación clínica basada en datos estructurados ofrece ventajas importantes, su adopción se enfrenta a barreras como la carga adicional para los médicos. Por esta razón, las narrativas clínicas siguen siendo ampliamente utilizadas por los profesionales de la salud como una forma práctica de registrar información detallada sobre los pacientes, desde antecedentes familiares hasta determinantes sociales de la salud.
El creciente interés en aprovechar la información detallada contenida en las narrativas clínicas ha impulsado el desarrollo de sistemas de IA médica que mejoran los modelos de diagnóstico y pronóstico. Sin embargo, las narrativas en texto libre presentan desafíos, ya que no pueden integrarse fácilmente en modelos computacionales que requieren datos estructurados. Para abordar este problema, los investigadores han recurrido al procesamiento del lenguaje natural (PLN) como una tecnología esencial para interpretar el lenguaje clínico utilizado en la atención médica.
Actualmente, las soluciones de PLN se basan principalmente en modelos de aprendizaje profundo, que emplean arquitecturas de redes neuronales. Inicialmente, las redes neuronales convolucionales (CNN) y las redes neuronales recurrentes (RNN) se aplicaron en este ámbito. Más recientemente, las arquitecturas basadas en transformadores, como BERT (Bidirectional Encoder Representations from Transformers), han establecido un nuevo estándar en el procesamiento del lenguaje natural. Estos modelos, implementados con mecanismos de autoatención, han alcanzado un rendimiento sobresaliente en tareas como reconocimiento de entidades nombradas, extracción de relaciones, inferencia de lenguaje natural y respuesta a preguntas.
El entrenamiento de modelos de transformadores suele dividirse en dos etapas: preentrenamiento del modelo de lenguaje (utilizando grandes corpus de texto sin etiquetar) y ajuste fino (aplicando el modelo preentrenado a tareas específicas con datos etiquetados). Esta estrategia de aprendizaje por transferencia permite resolver múltiples tareas de PLN a partir de un modelo base. Estudios recientes han demostrado que los transformadores grandes entrenados con datos masivos superan a los modelos anteriores en términos de precisión y versatilidad, lo que ha generado un interés creciente en desarrollar modelos más robustos y escalables.
En el ámbito biomédico, se han desarrollado modelos como BioBERT y PubMedBERT utilizando literatura científica, mientras que ClinicalBERT ha sido entrenado con narrativas clínicas. Sin embargo, la escalabilidad de los modelos en este dominio sigue siendo limitada debido a la sensibilidad de los datos clínicos y los altos requerimientos computacionales. En este contexto, surge GatorTron, un modelo de lenguaje clínico desarrollado utilizando más de 90 mil millones de palabras provenientes de notas clínicas anonimizadas, artículos de PubMed y Wikipedia.
En este estudio, entrenamos a GatorTron desde cero y evaluamos el impacto de aumentar la cantidad de parámetros y datos en su desempeño en tareas de PLN. Probamos tres versiones del modelo: uno base con 345 millones de parámetros, otro mediano con 3.9 mil millones y un modelo grande con 8.9 mil millones. Además, comparamos estos modelos con transformadores existentes en tareas clínicas como reconocimiento de entidades nombradas, extracción de relaciones médicas, inferencia de lenguaje natural y respuesta a preguntas médicas. Nuestros resultados muestran que GatorTron supera consistentemente a otros modelos en estas tareas, demostrando el potencial de los transformadores grandes en el ámbito clínico.
Resultados
Analizamos más de 290 millones de notas clínicas de aproximadamente 2.5 millones de pacientes provenientes del Repositorio de Datos Integrados de UF Health, acumuladas entre 2011 y 2021. Tras la desidentificación y el preprocesamiento, el corpus final incluyó más de 82 mil millones de palabras médicas.
El entrenamiento del modelo GatorTron-large requirió seis días en 992 GPU A100, empleando la arquitectura de clúster NVIDIA SuperPOD. Observamos que los modelos más grandes convergieron más rápidamente, consistente con investigaciones previas. Además, nuestros experimentos revelaron mejoras notables en tareas como extracción de conceptos clínicos, inferencia del lenguaje natural y respuesta a preguntas al incrementar el tamaño de los modelos.
Discusión
Los resultados de este estudio demuestran las ventajas de los modelos de transformadores grandes en el ámbito clínico. GatorTron no solo supera a los modelos existentes, sino que también ofrece un mejor desempeño en tareas complejas que requieren comprender y analizar narrativas clínicas detalladas. Estas capacidades pueden integrarse en sistemas de IA médica para mejorar la atención al paciente, la toma de decisiones clínicas y la farmacovigilancia.
En trabajos futuros, planeamos optimizar GatorTron para manejar fragmentos largos de texto y abordar las limitaciones observadas en tareas complejas. Creemos que este modelo representa un paso significativo hacia el desarrollo de sistemas de IA médica más avanzados y efectivos.
