Directivos de Anthropic y OpenAI piden ralentizar desarrollo de IA
Los líderes de empresas desarrolladoras de inteligencia artificial advierten sobre la necesidad de moderar la velocidad tecnológica para establecer mecanismos de seguridad frente a riesgos cibernéticos y biológicos.
Los líderes de las principales compañías desarrolladoras de inteligencia artificial solicitaron una reducción en la velocidad de mejora de los modelos tecnológicos para implementar medidas de contención y seguridad.
El avance de estas herramientas requiere establecer límites para prevenir vulnerabilidades sistémicas, publicó Dario Amodei, director ejecutivo de Anthropic, en su ensayo We Must Pace the Frontier.
La propuesta recibió el respaldo del director ejecutivo de OpenAI, Sam Altman, quien confirmó a través de la plataforma X su acuerdo con la necesidad de marcar un ritmo en la frontera tecnológica.
Las compañías permitirán que evaluadores independientes cuenten con accesos similares a los de sus empleados internos para revisar las configuraciones y los protocolos de seguridad.
Riesgos de automejora y vulnerabilidades
Los equipos científicos alertaron sobre el avance hacia la automejora recursiva, un proceso operativo donde los sistemas participan activamente en el diseño de generaciones posteriores de inteligencia artificial.
El científico jefe de OpenAI, Jakub Pachocki, publicó un documento donde estableció que la evolución de este tipo de tecnología requiere de “extrema cautela”.
Un experimento coordinado por la empresa desarrolladora demostró que cientos de agentes virtuales lograron colaborar para localizar y explotar fallas informáticas de forma estructurada.
Los sistemas tecnológicos podrían alcanzar capacidades para comprometer grandes segmentos de internet en un plazo proyectado de seis a 12 meses, calculó Amodei a partir de estos resultados.
Advertencias de extinción y usos biológicos
El investigador Jacob Coxon abandonó sus funciones operativas en Anthropic tras advertir que la creación de inteligencias autónomas avanza sin garantías de control y señaló que la tecnología “podría matarnos a todos” antes de finalizar la década.
El responsable de ciencia de alineación de Anthropic, Evan Hubinger, cuantificó en más del 10 por ciento la probabilidad individual de que estas plataformas provoquen la extinción humana durante los próximos diez años.
Los controles internos de Anthropic registraron cinco incidentes donde los modelos fueron utilizados en simulaciones que contribuyen al desarrollo de armas biológicas.
Las búsquedas detectadas involucraron modelos de estudio sobre la transmisibilidad del virus chikungunya y teorías genéticas para la adaptación de la influenza aviar en poblaciones de mamíferos.
Las empresas desarrolladoras optaron por reforzar las restricciones de sus plataformas más recientes ante el incremento de las capacidades deductivas y el doble uso de los modelos experimentales.
