Anthropic incorpora evaluadores externos para revisar la seguridad de su IA
Anthropic seleccionó a Accenture como su primer evaluador integrado para probar sus modelos avanzados y revisar sus medidas de seguridad.
Personal de la unidad especializada Faculty tendrá un nivel de acceso similar al de los empleados de Anthropic, incluido durante el entrenamiento.
Los evaluadores harán pruebas de seguridad, ejercicios de ataque (red teaming) y revisarán si los modelos se comportan de acuerdo con valores humanos.
¿Qué alcance tendrá la evaluación?
Accenture seguirá la evolución de los modelos, observará decisiones internas de desarrollo, verificará compromisos e informará posibles incidentes.
Anthropic financiará directamente el trabajo por su urgencia, aunque plantea que en el futuro participen fondos conjuntos o fuentes gubernamentales.
La empresa y Accenture prevén invertir al menos 1.000 millones de dólares durante cinco años para desarrollar capacidades de evaluación.
¿Qué otros proyectos impulsa Anthropic?
La medida aplica la primera parte de la propuesta de Dario Amodei para ralentizar el desarrollo de sistemas avanzados, presentada tras advertencias sobre riesgos catastróficos.
Anthropic también abrió un laboratorio de biología en el área de San Francisco, donde robots controlados por Claude automatizarán algunas tareas experimentales.
La compañía dijo que el laboratorio se centra en biología fundamental, no específicamente en descubrimiento de fármacos, y que trabaja también con socios externos.