Valencia acoge la primera cantera internacional de especialistas capaces de evaluar la seguridad, fiabilidad y riesgos de los sistemas de inteligencia artificial, una función que será clave para la aplicación del Reglamento Europeo de IA y el despliegue responsable de esta tecnología.
València, 15 de julio de 2024 – Cada gran revolución tecnológica ha creado nuevas profesiones. La inteligencia artificial no será una excepción. Mientras gobiernos, empresas y organismos reguladores de todo el mundo se preparan para supervisar sistemas cada vez más sofisticados, surge una figura profesional llamada a convertirse en una de las más demandadas de la próxima década: el evaluador de inteligencia artificial. Y la primera promoción internacional de estos especialistas acaba de formarse en España, concretamente en Valencia, gracias al International Programme on AI Evaluation: Capabilities & Safety, impulsado por ValgrA.De los 673 candidatos procedentes de todo el mundo, solo 40 profesionales fueron seleccionados para integrarse en esta iniciativa pionera, concebida para formar a quienes tendrán la responsabilidad de determinar si los sistemas de IA son seguros, fiables y aptos para su despliegue en la sociedad.
La aparición de esta nueva profesión responde a una necesidad cada vez más urgente. El desarrollo acelerado de la inteligencia artificial está obligando a gobiernos y reguladores a crear mecanismos que permitan evaluar de forma rigurosa las capacidades, riesgos e impactos de sistemas cada vez más complejos. De hecho, el Reglamento Europeo de Inteligencia Artificial exigirá pruebas y evaluaciones específicas para determinados sistemas de alto riesgo y tecnologías de frontera, lo que generará una creciente demanda de especialistas capaces de analizar y certificar estos modelos antes de su utilización en entornos críticos.
En este contexto, Valencia se ha situado a la vanguardia internacional con un programa que no enseña a desarrollar modelos de inteligencia artificial, sino a examinarlos, ponerlos a prueba y comprender sus limitaciones. La iniciativa ha estado impulsada por ValgrAI, la Universitat Politècnica de València (UPV) y las organizaciones filantrópicas internacionales Coefficient Giving y BERI, que han apostado por una institución española para liderar la formación de la próxima generación de expertos en evaluación de IA. Una decisión que constituye también una señal de confianza en la capacidad científica y el liderazgo internacional del ecosistema valenciano de inteligencia artificial.
El programa ha contado con una dirección académica de primer nivel encabezada por José Hernández-Orallo, catedrático de la Universitat Politècnica de València, investigador de la Universidad de Cambridge y uno de los mayores expertos mundiales en evaluación de inteligencia artificial. Recientemente, Hernández-Orallo ha sido además nombrado miembro del Panel Científico que asesorará a la Comisión Europea sobre los riesgos de los sistemas de IA más avanzados.
El claustro ha reunido a más de 45 especialistas procedentes de algunas de las instituciones más influyentes del mundo en inteligencia artificial, entre ellas la Universidad de Cambridge, Google DeepMind, Microsoft Research, la Oficina Europea de IA o el AI Security Institute del Reino Unido, proporcionando una visión integral que combina investigación de vanguardia, desarrollo tecnológico, regulación y gobernanza.
Según explica el director académico principal del programa, José Hernández-Orallo, “la IA avanza más rápido que nuestra capacidad para evaluar sus capacidades y riesgos. Reguladores, laboratorios y gobiernos de todo el mundo buscan profesionales capaces de realizar este trabajo con rigor y, hasta ahora, ninguna universidad lo enseñaba. Este programa es el primer paso para convertir la evaluación de la IA en una disciplina en la que el mundo pueda confiar”.
Cuatro meses para formar a una nueva generación de especialistas
El programa se ha desarrollado durante cuatro meses mediante un itinerario académico equivalente a 15 créditos ECTS. La formación comenzó con una fase online compuesta por diez módulos especializados y más de 70 horas de docencia en directo, en las que los participantes profundizaron en metodologías experimentales, interpretabilidad de modelos, red-teaming, evaluación de capacidades avanzadas, seguridad y gobernanza de la inteligencia artificial. Posteriormente, los alumnos trabajaron en equipos internacionales mentorizados por expertos de instituciones de referencia para diseñar y aplicar evaluaciones sobre sistemas reales de IA.
La fase final se celebró de forma presencial en Valencia, donde los participantes completaron una semana intensiva dedicada al análisis de riesgos avanzados y a la presentación de sus proyectos ante expertos internacionales. Durante esos días se abordaron cuestiones relacionadas con el uso malicioso de la inteligencia artificial, las amenazas cibernéticas y los mecanismos necesarios para anticipar el comportamiento de futuros sistemas avanzados.
Los 11 equipos internacionales presentaron sus proyectos finales abordando algunos de los desafíos más complejos y relevantes que plantea la inteligencia artificial avanzada en la actualidad. Los trabajos se centraron en la evaluación de sistemas reales de IA sobre cuestiones de vanguardia como el desalineamiento emergente en modelos de lenguaje, el comportamiento y la toma de decisiones de agentes autónomos, el uso de la IA como amplificador de campañas de desinformación, los posibles impactos cognitivos sobre los usuarios y la pérdida de autonomía individual, así como la interpretabilidad de los mecanismos de persuasión adversarial y las diferencias entre las pruebas de evaluación y el posterior despliegue de los modelos. Asimismo, varios proyectos analizaron cómo mejorar la alfabetización en evaluación de IA dentro de las organizaciones que incorporan estas tecnologías a sus procesos y actividades.
Más allá de la excelencia técnica de los proyectos, el carácter internacional y multidisciplinar del programa ha sido uno de sus rasgos diferenciales. Los equipos combinaron perfiles técnicos, investigadores, expertos en gobernanza, profesionales de políticas públicas y especialistas en regulación procedentes de distintos continentes, permitiendo abordar los desafíos de la IA desde perspectivas complementarias y fomentando la creación de una comunidad global especializada en evaluación tecnológica.
Una comunidad global para una tecnología global
Los 40 participantes seleccionados representan a 25 países y fueron escogidos entre más de 1.500 muestras de interés registradas a nivel internacional. La promoción incluye profesionales e investigadores procedentes de China, India, Estados Unidos, Reino Unido, Nigeria, México, Ecuador, Camerún, Filipinas, Ucrania y España, entre otros países, reflejando la necesidad global de establecer estándares comunes para la evaluación de sistemas de inteligencia artificial.
Para ValgrAI, esta primera edición supone el inicio de una iniciativa con vocación de continuidad y de impacto internacional. El objetivo último es consolidar la evaluación de IA como una disciplina académica propia y contribuir a la creación de una comunidad global de especialistas capaz de responder a los desafíos tecnológicos, regulatorios y sociales que plantea esta tecnología.
La directora gerente de ValgrAI, Ana Cidad, subraya la trascendencia de esta nueva especialización para el futuro de la economía y la sociedad: “La evaluación de la inteligencia artificial será una de las competencias más estratégicas de la próxima década. Los profesionales que hoy aprenden a evaluar estos sistemas serán quienes ayuden a decidir mañana cómo se desarrollan, regulan y utilizan. Nos enorgullece que Valencia y ValgrAI formen parte de este movimiento desde sus inicios”.
Con esta primera promoción de evaluadores de inteligencia artificial, Valencia no solo ha acogido un programa formativo pionero. Ha contribuido a sentar las bases de una nueva profesión llamada a desempeñar un papel decisivo en el desarrollo seguro, fiable y responsable de la inteligencia artificial a escala global.
ValgrAI (Valencian Graduate School and Research Network of Artificial Intelligence) es una fundación sin ánimo de lucro formada por la Generalitat Valenciana, las cinco universidades públicas de la Comunitat Valenciana (UV, UPV, UA, UJI y UMH) y empresas del sector que coordina el estudio y la investigación en Inteligencia artificial en la Comunitat Valenciana para responder a las necesidades tecnológicas de las compañías y promover la creación de nuevo talento en inteligencia artificial, renovando así el modelo productivo de la Comunitat Valenciana. El proyecto busca cooperación entre los generadores de conocimiento (docentes e investigadores), empresas y sectores productivos interesados en esta tecnología, con el objetivo de convertir a la Comunitat Valenciana en un polo de excelencia en las tecnologías de Inteligencia Artificial.
