El investigador Jacob Coxon anunció su renuncia a Anthropic con una advertencia sobre la carrera que mantienen los principales laboratorios para desarrollar sistemas de inteligencia artificial cada vez más avanzados.

Coxon, quien trabajó tanto en OpenAI como en Anthropic, argumentó que la competencia por alcanzar sistemas capaces de mejorar sus propias capacidades podría avanzar con mayor rapidez que las medidas destinadas a mantenerlos bajo control.

Después de su publicación, Evan Hubinger, líder de investigación de alineación en Anthropic, respaldó algunas de sus preocupaciones y expresó su estimación personal de que existe una probabilidad superior al 10 % de que la inteligencia artificial pudiera causar la muerte de todos los seres humanos durante la próxima década.

Es importante aclarar la atribución: Coxon fue quien renunció y publicó la denuncia, pero la cifra superior al 10 % fue expresada por Hubinger.

La estimación no representa una predicción oficial de Anthropic, una probabilidad científicamente demostrada ni evidencia de que una catástrofe sea inminente. Tampoco sería correcto interpretarla simplemente como una garantía de 90 % de que nada ocurrirá. Se trata de una valoración subjetiva sobre acontecimientos futuros rodeados de enorme incertidumbre.

Juan Guevara explica que el debate también debe distinguir entre diferentes clases de riesgo.

Los sistemas actuales ya pueden ser utilizados para encontrar vulnerabilidades, producir código, crear campañas de desinformación y automatizar determinadas etapas de una operación cibernética. Sin embargo, que una IA participe en un ataque no significa necesariamente que haya decidido atacar por sí misma. Detrás puede existir una persona, organización o gobierno que definió el objetivo y proporcionó las instrucciones.

Un escenario diferente sería la aparición de una superinteligencia con suficiente autonomía para adquirir recursos, modificar sus estrategias, ocultar sus acciones o resistirse al control humano. La posibilidad de desarrollar sistemas de esta clase es motivo de investigación y controversia, pero no constituye actualmente un hecho consumado.

La conciencia representa otra discusión distinta. No existe consenso científico sobre si una máquina necesitaría ser consciente para superar determinadas capacidades humanas o representar un peligro. Un sistema podría influir en las personas, engañar, buscar objetivos o causar daños sin experimentar emociones o una conciencia comparable con la humana.

Por esa razón, la seguridad de la inteligencia artificial no puede depender exclusivamente de resolver el misterio filosófico y neurológico de la conciencia.

Las compañías están desarrollando evaluaciones, barreras técnicas y sistemas de supervisión para reducir estos riesgos. Anthropic creó Project Glasswing, una iniciativa que reúne a empresas como Apple, Amazon Web Services, Google, Microsoft, NVIDIA, Cisco y CrowdStrike para utilizar modelos avanzados en la identificación defensiva de vulnerabilidades presentes en software e infraestructura crítica.

Project Glasswing demuestra la doble naturaleza de esta tecnología. Las mismas capacidades que podrían ayudar a un atacante también pueden permitir que los defensores encuentren y corrijan problemas antes de que sean explotados.

Los gobiernos enfrentan igualmente el desafío de establecer estándares, mecanismos de evaluación y obligaciones de transparencia sin frenar los usos positivos de la tecnología. La dificultad consiste en prepararse para sistemas futuros sin perder de vista los daños comprobables que ya ocurren mediante fraude, desinformación, vigilancia y ciberataques.

La conversación concluye con un vistazo a los nuevos productos presentados por Apple, incluyendo la familia iPhone 18, el iPhone Duo plegable, Apple Watch Series 12 y AirPods 5.

El iPhone Duo comienza en $1,999, según la información oficial de lanzamiento. Su diseño plegable permite utilizarlo como un teléfono compacto cuando está cerrado y acceder a una pantalla interior de mayor tamaño al abrirlo.

Más allá de los nuevos dispositivos, el debate sobre Anthropic plantea una pregunta de mayor alcance: ¿podrá la humanidad aprovechar sistemas de inteligencia artificial cada vez más poderosos sin perder la capacidad de supervisarlos y establecer límites efectivos?

Soy Juan Guevara, su experto en tecnología.