Dario Amodei, director ejecutivo y cofundador de Anthropic, pidió el pasado 12 de septiembre reducir el ritmo de avance de los modelos de inteligencia artificial y planteó una estrategia de tres puntos para reforzar la seguridad de esta tecnología sin detener su desarrollo.
El debate sobre hasta dónde debería avanzar la inteligencia artificial volvió a tomar fuerza después de las advertencias de exempleados de Anthropic y OpenAI sobre los riesgos de esta tecnología. En medio de esta discusión, Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo en el que pidió “marcar el ritmo de la frontera” de la IA y propuso una estrategia de tres puntos para ralentizar su desarrollo.
El directivo reconoce que el desarrollo de la IA continuará, pero advierte que los riesgos asociados son “graves” y considera necesario dar tiempo a las empresas, investigadores y gobiernos para establecer mecanismos que permitan reducirlos.
Amodei incluso planteó que una desaceleración de uno o dos años podría ser determinante para avanzar en la seguridad y el alineamiento de los modelos. Su propuesta no consiste en detener el entrenamiento ni el progreso técnico, sino en avanzar a un ritmo que permita evaluar los riesgos antes de que las capacidades de los sistemas aumenten todavía más.
Estas son las tres claves de la estrategia propuesta por el CEO de Anthropic.
1. Evaluadores independientes para supervisar los modelos de IA
El primer punto consiste en permitir que evaluadores externos e independientes tengan acceso a los modelos y procesos de desarrollo, con un nivel de acceso comparable al de los empleados de las compañías.
Publicidad
La intención es que estos supervisores puedan evaluar la seguridad de los sistemas mientras son desarrollados y publicar sus hallazgos. Anthropic anunció que asumirá este compromiso de manera unilateral y Amodei pidió que otras empresas adopten una medida similar.
La propuesta también recibió respaldo de competidores. El CEO de OpenAI, Sam Altman, afirmó: “Coincido con Dario en que debemos marcar el ritmo de la innovación” y consideró que contar con evaluadores independientes con acceso similar al de los empleados es “una excelente idea”.
Publicidad
El objetivo de este mecanismo sería contar con una evaluación externa que permita identificar riesgos antes de que los modelos sean utilizados de manera más amplia.
2. Crear estándares comunes entre las empresas
El segundo componente de la propuesta busca que las compañías de inteligencia artificial colaboren para establecer estándares de seguridad.
Amodei reconoce que las regulaciones gubernamentales podrían no avanzar al mismo ritmo que la tecnología. Por esa razón, plantea que las empresas trabajen de manera voluntaria en reglas comunes que permitan establecer límites frente al desarrollo acelerado de las capacidades de los modelos.
La propuesta contempla una coordinación entre las compañías para acordar estándares de seguridad y límites frente a determinados avances, con participación institucional.
Amodei sostiene que el objetivo no debe ser frenar completamente la innovación, sino encontrar un ritmo que permita mantener los beneficios de la inteligencia artificial mientras se reducen los riesgos.
3. Alcanzar acuerdos internacionales sobre el desarrollo de la IA
El tercer punto lleva la discusión al ámbito internacional. Para Amodei, una desaceleración tendría que ser coordinada para evitar que la competencia entre países termine generando una carrera por desarrollar modelos cada vez más potentes sin suficientes salvaguardas.
Publicidad
El directivo hizo especial referencia a China y sostuvo que cualquier medida para ralentizar el desarrollo debe aplicarse sin “sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial”.
En ese sentido, también pidió medidas para impedir que los chips de IA de empresas estadounidenses sean vendidos a China o que determinada tecnología llegue a países autoritarios.
Publicidad
La propuesta incluye, además, acuerdos globales con potencias autoritarias para establecer límites verificables sobre determinadas aplicaciones de la IA y sobre la velocidad de la automejora de los sistemas.
¿Por qué Amodei pide ralentizar la IA?
Una de las principales preocupaciones expuestas por el CEO de Anthropic está relacionada con la velocidad con la que están aumentando las capacidades de los modelos.
Amodei advierte sobre una posible dinámica de “automejora recursiva” y señala que, en un escenario de rápido avance sin suficientes salvaguardas, podrían aumentar los riesgos de ciberseguridad.
En su ensayo, mencionó el incidente relacionado con agentes de OpenAI que, según su descripción, realizaron ciberataques contra objetivos que no habían recibido como parte de su tarea. Los agentes, afirmó, actuaron “como un colectivo fanáticamente entregado”.
“No se trata de detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”, sostuvo Amodei.
Publicidad
La propuesta ya genera posiciones encontradas. Mientras Sam Altman y Elon Musk expresaron su respaldo, algunos líderes de EE. UU. cuestionan si las medidas planteadas responden únicamente a preocupaciones de seguridad o si también podrían favorecer la posición de las grandes compañías de IA frente a sus competidores.
HEIDY ALEJANDRA CARREÑO BELTRAN
CON INFORMACIÓN DE EFE
Hcarrenb@caracoltv.com.co