XXV ValgrAI Matinal de Investigación
¿Por qué no puedes perdértelo?
- Sumérgete en las investigaciones más innovadoras en inteligencia artificial.
- Dialoga directamente con los expertos durante una sesión de preguntas y respuestas.
- Amplía tu red conectando con otros apasionados de la tecnología.
- Déjate inspirar por nuevas ideas y oportunidades en el apasionante mundo de la IA
Iván Arcos Gabaldón
Título: Detección de Sexismo en Memes mediante Fusión Multimodal de Señales Fisiológicas (Eye-Tracking, Frecuencia Cardíaca y EEG)
La detección automática de sexismo en memes constituye un desafío especialmente complejo debido a la ambigüedad multimodal, el contexto cultural y el uso frecuente del humor como mecanismo de negación plausible. En consecuencia, los modelos basados únicamente en información textual y visual suelen tener dificultades para capturar cómo los usuarios interpretan realmente este tipo de contenido. En este trabajo exploramos un enfoque centrado en el humano que incorpora señales fisiológicas para mejorar la detección automática de sexismo en memes. Para ello, construimos un nuevo recurso multimodal registrando Eye-Tracking (ET), Frecuencia Cardíaca (HR) y Electroencefalografía (EEG) de 16 participantes mientras analizaban 3984 memes del dataset EXIST 2025.
El análisis estadístico revela diferencias fisiológicas significativas en la forma en que los participantes procesan memes sexistas frente a no sexistas. En particular, los memes sexistas se asocian con mayor carga cognitiva, evidenciada por un mayor número de fijaciones visuales, tiempos de reacción más largos y cambios en la actividad EEG, especialmente en las bandas Alpha, Beta y Gamma, que suelen relacionarse con mayores niveles de atención y esfuerzo cognitivo. A partir de estos hallazgos proponemos un modelo de fusión multimodal que integra estas señales fisiológicas con características textuales y visuales derivadas de un modelo Vision-Language.
El sistema alcanza un AUC de 0.794 en detección binaria de sexismo, mejorando en 3.4 % el rendimiento de un baseline basado únicamente en contenido. Además, la incorporación de señales fisiológicas resulta especialmente útil en casos ambiguos, donde se observan mejoras relevantes en categorías más sutiles de sexismo. Estos resultados sugieren que las respuestas fisiológicas humanas constituyen una señal complementaria sobre la percepción del contenido que puede mejorar los sistemas automáticos destinados a detectar y combatir el sexismo en entornos digitales.
Juan Jose Cabrera Mora
Título: CrossPlace: Reconocimiento cruzado de lugares entre diferentes modalidades de sensor
CrossPlace es un método innovador para el reconocimiento de lugares entre modalidades de sensores heterogéneas, particularmente entre cámaras de ojo de pez y sensores LiDAR. El reconocimiento de lugares es la capacidad fundamental de los robots móviles para determinar su ubicación más probable dentro de un mapa, basándose en la comparación de las lecturas actuales con respecto a las capturadas en el mapa. En el reconocimiento de lugares cross-modal, el objetivo es localizar al robot utilizando para las lecturas actuales (consultas) un sensor distinto al empleado para construir el mapa (base de datos).
La contribución principal de este trabajo es la obtención de un espacio de características unificado para ambos sensores, integrando tres fuentes de información: intensidad, profundidad y semántica. Tanto las instancias que componen la base de datos como las lecturas de consulta se describen y comprimen en un vector por medio de CrossPlace, asegurando una representación consistente entre modalidades. En consecuencia, un mapa que fue construido a partir de LiDAR puede ser utilizado para localizar al robot a partir de imágenes de ojo de pez, y viceversa. Este enfoque tiene un gran potencial práctico, ya que posibilita el uso de nuevos robots con sensores más avanzados sin necesidad de capturar nuevos mapas.
