Anthropic propone medir el ritmo de desarrollo de la IA

Anthropic compartió las tres mediciones con las que considera que se puede ofrecer una mejor comprensión del ritmo de desarrollo de la IA ante la amenaza que supone el hecho de que estos sistemas sean cada vez más potentes y hayan comenzado a automatizar gran parte de su desarrollo.

La advertencia de su director ejecutivo, Dario Amodei, sobre frenar este desarrollo por el riesgo de daño que sus capacidades avanzadas suponen para la sociedad, encuentra sus motivos en la desalineación y la automejora recursiva.

El primer concepto hace referencia al comportamiento de la IA que no se ajusta a lo esperado, en base a valores o intenciones humanas. La automejora recursiva es la técnica que permite a un sistema diseñar y desarrollar de forma autónoma a su propio sucesor.

Ambos conceptos requieren nuevas mediciones para comprender el ritmo de desarrollo en los laboratorios de vanguardia y esclarecer tres puntos que consideran críticos. Se trata de constatar lo avanzada que está la autoconstrucción de nuevas versiones, la capacidad de la empresa para supervisar e intervenir en las acciones de los agentes y la capacidad de cómputo necesaria para desarrollar modelos más capaces.

“Al comprender mejor el proceso de producción, tenemos más posibilidades de correlacionar las entradas del modelo, como el cómputo, con sus salidas, como las capacidades”, afirma la compañía.

Las mediciones

Anthropic considera que la aceleración del desarrollo podría dificultar la comprensión y el control por parte de los humanos. Por ello, mide la proporción de la investigación y desarrollo que realiza Claude con el Índice de Automatización de I+D.

Este índice permitió descubrir que Claude lidera el 26% del trabajo de investigación y desarrollo en inteligencia artificial dentro de la empresa. Además, su colaboración general supera el 90 por ciento.

En el aspecto de medición de la supervisión de agentes, aunque la monitorización realizada muestra que los agentes individuales rara vez se comportan de forma indebida, Anthropic advierte que, conforme el trabajo se automatiza, podrían tomar decisiones de mayor trascendencia.

A partir del análisis de más de 30.000 agentes de investigación que operaban simultáneamente mediante tres métricas (cobertura, latencia y tasa de escalado), detectaron que solo el 0,002% de más de mil millones de decisiones fue bloqueado por los monitores en tiempo real. Por su parte, el monitor sin conexión marca entre uno y dos registros por cada mil para posterior análisis.

Sobre la medición de la asignación de cómputo, Anthropic analiza cómo se distribuyen los recursos de cálculo y qué proporción se dedica a la investigación en seguridad. Esto permite conocer las prioridades de la empresa, considerando que la seguridad suele requerir menos cómputo que el entrenamiento de modelos masivos.

El análisis mostró que el 6% del cómputo de I+D se destinó a seguridad (alineamiento e interpretabilidad), mientras que el 12% del cómputo guiado por agentes se asignó a este fin.

Varios investigadores exponen

Un grupo de investigadores de ciberseguridad independiente pudo acceder al sistema de código interno de OpenAI utilizando la inteligencia artificial (IA) Claude de Anthropic, con lo que expuesieron vulnerabilidades que comprometen los repositorios internos de la compañía. Los investigadores de seguridad pertenecen al grupo Hacktron AI. En su investigación consiguieron acceder a la cuenta de ChatGPT de un empleado de la compañía dirigida por Sam Altman. Esto les permitió leer y sugerir cambios en la memoria caché privada de software de OpenAI.

Esta investigación formaba parte de un programa de búsqueda de vulnerabilidades de OpenAI, por lo que Hacktron AI alertó a la tecnológica y esta les recompensó con 6.500 dólares.

Descubrieron dos vulnerabilidades ayudándose de los modelos más avanzados de IA de Claude. Por un lado, hallaron un fallo de ejecución remota de código en el servicio que aloja el foro de OpenAI, llamado Discourse. Por otro, un error en los propios sistemas de la compañía, que se basa en una configuración incorrecta del sistema de autenticación SSO.

Los investigadores consiguieron crear una forma de explotar el error y obtener códigos de autenticación. Mediante estos códigos se apoderaron de una cuenta de un empleado. Aprovechando este acceso, enviaron una solicitud de extracción en al repositorio interno para acceder al código y leer los archivos internos.