Nadella pide controles humanos y un freno de emergencia para la IA
El director ejecutivo de Microsoft, Satya Nadella, pidió diseñar sistemas avanzados de inteligencia artificial con controles independientes y un mecanismo para detenerlos durante una tarea.
“Debemos asumir que un modelo está comprometido y contenerlo desde el inicio. Piensen en ello como un freno de emergencia”, escribió Nadella en X.
Propuso que una persona autorizada pueda pausar o apagar el modelo en cualquier momento, y que cada acción relevante deje un registro legible e inviolable.
¿Qué medidas propone?
Nadella planteó separar el modelo del sistema que coordina su trabajo y hacer observables sus operaciones mediante controles externos y salvaguardas.
También pidió pruebas continuas, diversidad de modelos, auditorías independientes y divulgación de incidentes; propuso establecer estándares industriales cuando los existentes sean insuficientes.
Para el ejecutivo, los modelos abiertos y cerrados más avanzados deben tratarse como riesgos internos y estar sujetos a procedimientos operativos fiables.
¿Qué motivó el planteamiento?
La propuesta llega mientras empresas de IA reconocen incidentes en los que pareció que perdían el control de sus modelos, y después de un plan de desarrollo cauteloso de Dario Amodei, director de Anthropic.
Nadella se sumó a advertencias de otros ejecutivos y especialistas sobre protocolos de seguridad insuficientes; su publicación no detalló plazos para aplicar las medidas.
The Verge
Detienen a un ingeniero de OpenAI por instalar un dispositivo de grabaciónEl dispositivo estaba conectado al puerto USB de un televisor y cubierto con papel higiénico; OpenAI dijo que sus modelos ayudaron a identificar quién lo instaló.
Google AI
9to5Mac
CNBC
Windows CentralMicrosoft crea Xbox Labs para probar nuevas tecnologíasLos experimentos recientes incluyen reconstruir juegos para hardware distinto del previsto y llevarlos a navegadores mediante WebAssembly y WebGPU.
The IndependentMI5 advierte de amenazas con inteligencia artificial y actividad extranjeraMcCallum afirmó que los servicios de seguridad dedican ahora más recursos a proteger el país que durante la Guerra Fría.
