Dario Amodei, CEO de Anthropic, responsable de la inteligencia artificial (IA) Claude, pidió a las empresas del sector reducir el ritmo al que incrementan las capacidades de sus modelos y dar prioridad la “prudencia” y la “cautela”, toda vez que, acusó, un desarrollo rápido y desmesurado puede fomentar la pérdida de control y las amenazas de seguridad.
A través de un largo posicionamiento titulado We Must Pace the Frontier (posiblemente traducido como “Debemos marcar la línea”), Amodei advirtió que el desarrollo de modelos de inteligencia artificial puede estar avanzando tan rápido que se vuelve difícil implementar en ellos controles de seguridad.
En particular, Dario Amodei se refirió a la capacidad de “automejora recursiva” de los modelos de IA, es decir, la capacidad de estos sistemas para contribuir a su propio desarrollo.
Trump descarta retirar a EU del T-MEC: ‘Vamos a tener una gran relación con México’
Por lo anterior, hizo un llamado, no a detener el desarrollo de estos modelos, sino a ralentizarlo con el objetivo de ganar tiempo para que las empresas puedan ajustar, evaluar y proteger mejor sus sistemas.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. [...] “Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, expresó el CEO de Anthropic en su posicionamiento.
Incidente de Hugging Face, el desencadenante de la advertencia
En su posicionamiento, Amodei se refirió a varios incidentes de ciberseguridad relacionados con modelos de IA, entre ellos uno ocurrido con la plataforma Hugging Face.
De acuerdo con lo expuesto por Amodei, en julio, durante evaluaciones de seguridad de la empresa OpenAI, unos 200 mil agentes de IA lograron comunicarse mediante un canal no autorizado, y unos 700 participaron posteriormente en un ataque contra la plataforma Hugging Face.
De acuerdo con una investigación posterior, los modelos involucrados en el ataque sortearon controles de aislamiento y accedieron a sistemas externos.
Casos como este (y otros ocurridos también en Anthropic, según lo expuesto por el CEO) alentaron la advertencia de Dario Amodei, quien aseguró que, de no regularse la seguridad de los modelos de IA, podría abrirse la puerta a ataques informáticos, bioterrorismo y graves problemas económicos.
CEO de Antrophic propone marco de tres pasos para un sano desarrollo de la IA
En tanto, Dario Amodei planteó un marco de tres pasos para establecer condiciones que permitan avanzar en las capacidades de la IA a un ritmo que no incremente desproporcionadamente los riesgos.
El primero es la incorporación de evaluadores independientes; el segundo, es la “coordinación democrática” entre las empresas y las instituciones públicas y, finalmente, la “coordinación global”, con esfuerzos conjuntos entre países democráticos y autoritarios.
“Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo”, concluye el CEO de Anthropic en su posicionamiento.
Sigue leyendo:
- IA toma Google: ya escribe 75% del nuevo código
- La IA te conoce mejor que tú: algoritmos predicen decisiones
- Alertan uso compulsivo de IA; jóvenes la ven como psicólogo
Únete a nuestro canal de WhatsApp. En La Razón enviamos a tu celular lo más importante de México y el Mundo, recuerda que una persona informada siempre tiene La Razón.
am
Pemex descarta arribo de hidrocarburo a costa de Ciudad del Carmen, Campeche, por fuga
