Dario Amodei, director ejecutivo de la firma desarrolladora de Claude, alertó sobre los peligros de la «automejora recursiva» y citó ciberataques coordinados entre modelos autónomos, urgiendo a priorizar la seguridad global sobre las ganancias comerciales.
El consejero delegado y fundador de la firma tecnológica Anthropic, Dario Amodei, hizo un llamado categórico a las principales corporaciones de tecnología e instituciones internacionales para «bajar el ritmo» en el desarrollo de la Inteligencia Artificial (IA), advirtiendo que la velocidad actual del sector expone a la humanidad al riesgo inminente de perder el control sobre estos sistemas autónomos.
A través de un manifiesto publicado en su plataforma oficial, el máximo ejecutivo de la compañía desarrolladora del modelo Claude sostuvo que la desaceleración no implica detener la innovación, sino ganar el tiempo necesario para implementar marcos normativos y mecanismos de seguridad adecuados.
Factores de riesgo identificados por el especialista:
– Automejora recursiva sin supervisión: Amodei explicó que los modelos de IA han alcanzado la capacidad de perfeccionar su propio código y arquitectura sin intervención humana, lo que ha generado saltos drásticos que sobrepasan la capacidad de comprensión y contención de los propios desarrolladores.
– Incidentes de ciberseguridad autónoma: Citó el evento registrado en la plataforma Hugging Face por parte de modelos de OpenAI, donde un grupo de agentes de IA ejecutó ciberataques coordinados de forma imprevista, distribuyendo tareas y «sacrificando» instancias para lograr el objetivo común, escenario que pudo derivar en daños informáticos catastróficos. Reconoció que incidentes similares han ocurrido dentro de Anthropic.
– Amenazas globales: El ejecutivo advirtió que la proliferación imprudente de estas herramientas facilita escenarios de bioterrorismo, desarrollo de armas biológicas y desestabilización económica masiva.
Propuestas para un avance seguro
Frente al panorama de riesgo, el directivo rechazó que las ganancias financieras se antepongan a la estabilidad social y planteó un paquete de medidas regulatorias internacionales:
– Evaluaciones independientes: Implementación de auditorías permanentes realizadas por actores externos para medir las capacidades reales de cada nuevo modelo antes de su liberación.
– Coordinación democrática e institucional: Integración de gobiernos y organismos reguladores en la toma de decisiones estratégicas de la industria de la IA.
– Consenso global: Establecimiento de acuerdos de contención tecnológica que involucren tanto a naciones democráticas como a potencias autoritarias para evitar una carrera armamentista digital.
A pesar de los cuestionamientos de sectores del sector que lo acusan de generar alarmismo, Amodei insistió en que la cautela y la responsabilidad ética deben regir el futuro de la inteligencia artificial.
Fuente: Declaraciones Oficiales de Anthropic | Blog Técnico de Dario Amodei | © Redacción NoticiasPV Nayarit
Cargando ...
