Meta publica su modelo de riesgos de IA para evitar “resultados catastróficos”

Meta hizo público su marco para evaluación de riesgos de Inteligencia Artificial (IA), el cual tiene la intención tanto de evitar “resultados catastróficos” por el uso de la nueva tecnología, como de colaborar con la comunidad de código abierto (Open Source) para compartir modelos y estándares que permitan un enfoque equilibrado de la evaluación de riesgos que fomente la innovación.

La compañía publicó su enfoque para la IA de Vanguardia, que incluye su consideración sobre los riesgos evaluados durante los procesos de liberación de algún modelo de IA. La compañía defendió nuevamente su enfoque basado en el Open Source, como un elemento clave para democratizar el acceso a la tecnología, pero también para impulsar la innovación y defender la competitividad de los Estados Unidos.

“Los modelos y sistemas avanzados de IA representan una enorme oportunidad para el mundo, tanto a nivel social como económico. En Meta, creemos que la mejor manera de aprovechar al máximo esa oportunidad es desarrollando una IA de vanguardia y poniéndola a disposición de una comunidad global de investigadores, desarrolladores e innovadores”, señala el documento.

Adicionalmente, considera que este enfoque abierto permite anticipar y mitigar mejor el riesgo, ya que se cuenta con evaluaciones independiente de la comunidad, lo que mejora la eficacia y fiabilidad de los modelos. En agosto del año pasado, Meta liberó Llama 3.1, su más reciente modelo grande de lenguaje (LLM) bajo un modelo Open Source.

Conforme la IA avanza en sus capacidades, al tiempo que es implementada en áreas críticas como procesos de producción, tareas de seguridad o para la toma de decisiones, gobiernos y empresas han buscado la mejor manera de atender los potenciales riesgos que representa la tecnología, desde la generación de alucinaciones o información falsa, hasta su uso con fines militares y el impacto más amplio sobre la economía.

A principios del año pasado, los gobiernos del Reino Unido y de Corea del Sur firmaron un acuerdo con organizaciones como Meta, OpenAI, xAI y Samsung, entre otras 13 empresas, para “desarrollar y desplegar sus modelos y sistemas de IA de vanguardia de forma responsable”. Como parte del acuerdo, estas empresas se habrían comprometido a publicar su enfoque, a ser presentados la próxima semana en Francia.

“El marco de IA de vanguardia se refiere a nuestros próximos modelos y sistemas más avanzados que igualan o superan las capacidades presentes en los modelos más avanzados. Define procesos para gestionar y mitigar el riesgo de que los modelos o sistemas de IA de vanguardia produzcan resultados catastróficos, y para mantener el riesgo de tales resultados dentro de niveles tolerables”, señala Meta en el documento publicado.

Según la compañía, este marco se enfoca en los riesgos más críticos en los ámbitos de las amenazas a la ciberseguridad y los riesgos derivados de las armas químicas y biológicas. Bajo este enfoque, se puede trabajar para proteger la seguridad nacional y, al mismo tiempo, promover la innovación.

El documento publicado incluye los procesos que sigue Meta para anticipar y mitigar los riesgos a la hora de desarrollar sistemas de IA de vanguardia. Sin embargo, también aclara que este marco no incluye todos los riesgos y evaluaciones que realiza.

Entre los principales procesos realizados por Meta se incluyen la identificación de resultados catastróficos que prevenir, relacionados con riesgos cibernéticos, químicos y biológicos. Este proceso se centra en evaluar si estos resultados catastróficos son posibles gracias a los avances tecnológicos y, en caso afirmativo, en identificar formas de mitigar esos riesgos.

El marco incluye también ejercicios de modelización de amenazas para anticipar cómo los diferentes actores podrían tratar de hacer un mal uso de la IA de vanguardia para producir esos resultados catastróficos, lo que implica también el trabajo con expertos externos según sea necesario.

Este proceso implica evaluar si el modelo se podría utilizar como una herramienta para un escenario mal intencionado, y determinar cuáles son las capacidades que habilitarían la ocurrencia del riesgo evaluado. De tal forma, también se determina si el modelo representa un elemento “esencial” en el proceso que llevaría a un resultado catastrófico, y en consecuencia, se determina el umbral crítico.

De esta forma, el marco permite establecer umbrales de riesgo, los cuales son definidos según la medida en que los modelos facilitan los escenarios de amenaza. Esto incluye también otros procesos para mantener los riesgos dentro de niveles aceptables, incluida la aplicación de mitigaciones.

Estos umbrales se definen como moderado, alto y crítico. El umbral de riesgo moderado aún permitiría liberar el modelo con medidas y estrategias que permitan eliminar el riesgo. Sin embargo, un riesgo alto implicaría no liberar el modelo y limitar su acceso a personal calificado, mientras que un riesgo crítico implica detener completamente su desarrollo.

El modelo también describe algunos de los escenarios evaluados, tales como el uso de la IA para perpetrar ataques automatizados o el descubrimiento de vulnerabilidades en redes o dispositivos, además de posibles impactos económicos a individuos y empresas por fraudes y estafas ayudados con la IA.

En el caso de los riesgos químicos y biológicos, Meta evalúa si sus modelos podrían dar el conocimiento requerido para la creación o la producción a gran escala de armas químicas y biológicas.