XX ValgrAI Matinal de Investigación
¡La vigésima edición de los «Matinales de Investigación» de la Fundación ValgrAI ya está aquí! El próximo viernes 7 de noviembre a las 09:30h cumplimos veinte sesiones del Matinal de la mejor forma posible, con nuevas ponencias para presentar las últimas innovaciones en Inteligencia Artificial del ecosistema de ValgrAI. ¡Ven a celebrar con nosotros!
¿Por qué no puedes perdértelo?
- Sumérgete en las investigaciones más innovadoras en inteligencia artificial.
- Dialoga directamente con los expertos durante una sesión de preguntas y respuestas.
- Amplía tu red conectando con otros apasionados de la tecnología.
- Déjate inspirar por nuevas ideas y oportunidades en el apasionante mundo de la IA
Isabel Benlloch
Título: Retri-Eval, un método de evaluación para módulos de recuperación en sistemas RAG.
La llegada de los modelos de lenguaje grandes (LLMs) ha impulsado el desarrollo de diversas propuestas para evaluar sus resultados. Sin embargo, un reto importante en este sentido ha sido la ausencia de criterios de evaluación estandarizados, a lo que a menudo se suman preocupaciones sobre su fiabilidad. Un ejemplo práctico son las respuestas generadas por los sistemas RAG, que emplean una combinación de técnicas de recuperación de información y LLMs para mejorar la calidad de las respuestas generadas.
A pesar de la existencia de numerosos marcos de evaluación para los sistemas RAG, las prácticas contemporáneas de RAG se centran predominantemente en la evaluación de la respuesta basada en el modelo de lenguaje. Además, las métricas empleadas para evaluar el rendimiento del recuperador se han limitado con frecuencia a métricas cuantitativas como la precisión y la recuperación, que pueden resultar inadecuadas en determinados casos. Este enfoque plantea notables problemas de fiabilidad, dado que los sistemas RAG se basan principalmente en los documentos recuperados para fundamentar su respuesta. Para abordar este problema, se propone un nuevo marco para evaluar el módulo recuperador de los sistemas RAG: un sistema multiagente especializado en la evaluación del módulo recuperador. En concreto, se integra un conjunto de cuatro agentes basados en LLMs en un sistema cooperativo para analizar los documentos recuperados junto con la consulta del usuario.
Para lograr una evaluación diversa y fiable, cada agente actúa como experto en una metacaracterística categórica que puede evaluar la calidad del documento recuperado en una dimensión diferente. El rendimiento de la propuesta se demuestra mediante la utilización de una muestra de 924 del conjunto de datos RAGBench, que abarca muestras etiquetadas de preguntas y respuestas basadas en RAG de diversos dominios. En resumen, el marco propuesto ofrece una metodología completa y adaptable para evaluar la recuperación en los sistemas RAG, lo que garantiza una mayor fiabilidad.
Olaf Meneses
Título: Expert Brain: Optimización de la fabricación aditiva mediante agentes inteligentes.
Expert Brain automatiza la optimización de procesos en la fabricación aditiva, como la selección de materiales o la calibración de parámetros, tareas hasta ahora dependientes del conocimiento experto. La solución se basa en un sistema multi-agente orquestado bajo el framework SPADE, donde agentes especializados y potenciados por LLMs colaboran para analizar problemas y proponer soluciones óptimas. De este modo, Expert Brain transforma un proceso empírico y lento en un sistema ágil y basado en datos, capaz de resolver problemas industriales complejos de forma autónoma.
