Cuando los que revisan a la inteligencia artificial se sientan en la misma oficina que los que la construyen

¿Puede alguien revisar de verdad una herramienta si solo le muestran la herramienta y no cómo se fabrica? La pregunta parece de chicos, pero es exactamente lo que está en el centro de una decisión reciente de la compañía Anthropic, una de las firmas más fuertes del mundo en desarrollo de inteligencia artificial.

La empresa abrió las puertas de su casa a seis investigadores de METR, una organización sin fines de lucro que se dedica a evaluar sistemas de IA. Les dio una computadora con acceso interno, un lugar físico en sus oficinas y permiso para charlar con el personal como si fueran un empleado más. La única diferencia es que METR no cobra sueldo de Anthropic: trabaja para afuera, y eso es lo que le da.

Un esquema en tres capas, como un pastel de milhojas

Piénsenlo como una cocina con tres niveles de confianza. En el primer piso, organizaciones como SecureBio hacen revisiones puntuales y, si quieren publicar algo, piden permiso. En el segundo, el acceso es más amplio y ya no hace falta pedir autorización para difundir los hallazgos. En el tercero, donde está hoy METR sola, se suma algo clave: pueden publicar informes, reportes de incidentes y hasta análisis de las prácticas internas de la empresa sin que Anthropic pueda frenarlos.

Hay tres zonas vedadas incluso para estos auditors: datos de clientes, información protegida por el secreto entre abogado y cliente, y detalles finos sobre la arquitectura de los modelos. En esos casos la compañía puede pedir que se redacten ciertos párrafos, pero METR queda libre para decir públicamente si le parece que esa redacción estuvo justificada o no. Es como tener una cocina abierta al público, pero con la heladera cerrada con candado: se ve cómo se cocina, no todos los ingredientes.

Por qué tanto acceso: la receta para una auditoría que sirva

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo de verdad.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá del modelo e incluya cómo se lo entrenó y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

Anthropic reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde el punto de vista comercial. Por eso eligió un acuerdo con un grupo chico, trabajando bajo cláusulas exigibles, y mantuvo al resto del personal de METR aislado de esa tarea específica. Es el mismo razonamiento que aplicaría un restaurant cuando decide a qué proveedores les muestra la cámara de frío y a cuáles no.

El equipo de METR ya venía revisando informes de riesgo de Anthropic durante el año previo a recibir este nivel ampliado de acceso, así que no arrancó de cero. La movida se inscribe en una tendencia más amplia de la industria a mostrar, de distintas maneras, que los controles sobre la inteligencia artificial no dependen solo de la buena voluntad de quien la desarrolla.

Falta ver cómo se traduce este esquema en la próxima campaña de evaluación de modelos, cuando los auditors con acceso de empleado puedan contrastar lo que ven puertas adentro con los reportes públicos que la propia empresa viene publicando. Ahí se sabrá si esta cocina abierta es una receta nueva o solo una ventana mejor decorada.