Para tratar de responder a la pregunta, investigadores británicos han desarrollado una herramienta denominada SylloBio-NLI que permite evaluar de forma sistemática la capacidad de razonamiento lógico de los grandes modelos de lenguaje (LLM, por las siglas en inglés) en el ámbito biomédico.
Disponible libremente, SylloBio-NLI crea esquemas silogísticos clásicos, como el famoso «Todos los hombres son mortales. Sócrates es hombre. Por tanto, Sócrates es mortal», pero en base a datos de vías moleculares humanas. El objetivo es evaluar la capacidad de la inteligencia artificial (IA) generativa para inferir una relación lógica entre fragmentos de texto —lo que se conoce como inferencia del lenguaje natural (NLI, por las siglas en inglés)—. Dicha capacidad podría resultar de utilidad para interpretar automáticamente resultados de la investigación biomédica.
En un trabajo publicado como preprint, y que por tanto no ha superado el proceso exhaustivo para su publicación en una revista científica, los investigadores pusieron a prueba la herramienta con ocho LLM de código abierto, que debían resolver 28 esquemas silogísticos.
Los modelos presentan dificultades para el razonamiento lógico en biomedicina
Los resultados revelan que, en general, cuando no se proporcionaban ejemplos previos de la tarea a realizar en la petición que se realizó a los modelos la precisión fue del 70% para silogismos generalizados, mientras que para los silogismos disyuntivos fue del 23%. Al ofrecer ejemplos de la tarea a realizar en el prompt, algunos modelos vieron mejorado su rendimiento, como en el caso de Gemma (+14%) y de Llama-3 (+43%).
Los autores destacan que, si bien proporcionar ejemplos contextuales puede mejorar el rendimiento, lo cierto es que los modelos existentes de código abierto todavía están lejos de alcanzar la solidez necesaria para su aplicación segura en la inferencia del lenguaje natural en biomedicina.
De todos modos, consideran que exponer estas limitaciones puede contribuir a desarrollar modelos más específicos y precisos para una implementación segura de sistemas de apoyo a la investigación biomédica basados en la IA.
Referencia:
Wysocka M, Carvalho D, Wysocki O, et al. SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning.
ArXiv [preprint]. 2025;2410.14399.
doi:10.48550/arXiv.2410.14399
OAD-ES-AMG-0001
Aceptar y salir
