Los modelos amplios de lenguaje (Large Language Model, LLM) de la inteligencia artificial generativa (GenAI) suelen servir para tareas generales. Sin embargo, cuando se trata de campos especializados, como la atención sanitaria, sus respuestas no son lo suficientemente precisas para resultar confiables. Una solución a esta problemática pasa por utilizar LLM de dominio específico.
Aunque la capacidad de procesamiento de lenguaje natural de la GenAI sigue aumentando, no deja de tener limitantes. Por ejemplo, es sabido que ante determinadas demandas, la IA puede “alucinar” respuestas inexactas, cuando no inventadas. Esto es porque son incapaces de comprender contextos específicos más allá de los conjuntos de datos utilizados en su entrenamiento. Es decir, como se basan en redes neuronales para predecir patrones lingüísticos, los LLM no pueden discriminar datos erróneos si su contexto parece coherente. Tampoco pueden asociar conceptos textuales con objetos del mundo real.
Un LLM de dominio específico es un modelo general optimizado para realizar tareas bien definidas. A diferencia de sus contrapartes de propósito general, cumplen una función claramente definida en aplicaciones del mundo real. Dichos modelos requieren un conocimiento profundo de su contexto, incluyendo datos de productos, políticas industriales y terminología del sector. Por ende, los datos empleados para entrenar un LLM de dominio específico deben seleccionarse y etiquetarse cuidadosamente.
Modelos perfectibles
Ahora bien, los LLM de dominio específico tienen aplicaciones claras en la industria de la salud. Por ejemplo, los investigadores médicos deben estudiar una gran cantidad de literatura médica, resultados de pruebas y datos diversos al desarrollar nuevos fármacos. Los LLM pueden ayudar en la etapa preliminar analizando los datos proporcionados y prediciendo combinaciones moleculares de compuestos para su posterior revisión.
Existen dos maneras de desarrollar LLM de dominio específico: construirlo desde cero u optimizar un modelo ya existente.
La primera opción implica gran potencia computacional y conjuntos de datos considerables. Dado que los datos deben seleccionarse cuidadosamente, la tarea puede resultar además de tediosa, muy tardada. Todo ello resulta en costos muy elevados.
Por otra parte, perfeccionar un modelo fundamental suele bastar para realizar una tarea específica con una precisión razonable. Este enfoque para curar un LLM de dominio específico requiere menos conjuntos de datos, poder de computación y tiempo.
Para hacerlo, los ingenieros de aprendizaje de las máquinas (machine learning) utilizan un modelo preentrenado y lo alimentan con conjuntos pequeños de datos anotados. Aunque la tasa de aprendizaje es lenta, el ajuste fino del modelo permite que sume los nuevos datos a su base previa de conocimiento.
Viabilidad de los LLM de dominio específico
Una variante del método de perfeccionamiento es el llamado aprendizaje por transferencia. Consiste en que un LLM preentrenado utilice su conocimiento previo para resolver una tarea nueva. Para evitar que dicho conocimiento se altere, los ingenieros lo “congelan” y añaden nuevas capas entrenables.
Un par de ejemplos de LLM de dominio específico para la industria médica entrenado con esta técnica son Med-PaLM y su sucesor, Med-PaLM 2. Desarrollados por Google, se basan en PaLM, un modelo de lenguaje de 540,000 millones de parámetros con un gran rendimiento en tareas complejas.
Para desarrollar este LLM de dominio específico se utilizaron pares de preguntas y respuestas médicas anotadas. Bastaron 65 pares de muestras para que el modelo aprendiera lo suficiente para aprobar un cuestionario con preguntas de la base de datos médicos HealthSearchQA.
La versatilidad del modelo se corroboró cuando lo sometieron a un cuestionario con preguntas tomadas del conjunto de datos MedQA. Dicho conjunto contiene preguntas basadas en el examen de licencia médica aplicado en Estados Unidos a los futuros doctores. Med-PaLM 2 logró una calificación de 86.5 sobre 100, comparable en precisión a la de los profesionales de la salud en algunos casos de uso.
Aun cuando queda un largo trecho por delante, el desarrollo de LLM de dominio específico para la salud luce promisorio. Eso demuestra la importancia de la capacitación y el perfeccionamiento de la GenAI para que sus modelos tengan éxito al acometer tareas altamente especializadas.
