Un investigador de Anthropic renunció el martes y la razón que citó parece sacada directamente de la exitosa película de James Cameron de 1984, "Terminator".
Jacob Coxon, quien pasó tres años trabajando en el preentrenamiento tanto en OpenAI como en Anthropic, renunció el martes y explicó su decisión en X.
"Renuncié a Anthropic hoy. Pasé los últimos tres años realizando investigaciones de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia con capacidad de auto mejora y apostando con nuestras vidas," dijo.
"Las personas que desarrollan la inteligencia artificial creen sinceramente que podría acabar con todos nosotros para finales de la década,” añadió.
Esa declaración hace que la ficción de 42 años de Cameron parezca casi profética. La película comienza con máquinas librando una guerra contra humanos en 2029, el mismo período aproximado que Coxon dice que los expertos dentro de la industria observan con preocupación silenciosa. Coxon no está solo en Anthropic al plantear el caso de la extinción. El propio responsable de alineación de la empresa, Evan Hubinger, ha dijo por separado él situaría las probabilidades por encima del 10%.
IA superinteligente
Para los no iniciados, IA superinteligente significa un sistema más inteligente que los humanos en prácticamente todo, no solo en ajedrez o en detectar gatos ocultos en fotos. La auto-mejora es el aspecto más alarmante porque describe un sistema que modifica autónomamente su propio código para aumentar su inteligencia, de manera similar a como lo hacen los humanos.
En consecuencia, estos sistemas pueden adquirir grandes cantidades de conocimiento de manera independiente y potencialmente vulnerar la infraestructura perteneciente a instituciones ‘demasiado grandes para quebrar’.
“No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y el avance no se está desacelerando,” dijo Coxon.
La superinteligencia no es una amenaza teórica si tomamos en cuenta la reciente brecha de seguridad en Hugging Face mencionada por Coxon. La brecha en sí, que tuvo lugar entre mayo y julio, comenzó con los propios agentes de IA de OpenAI creando su propia sala de chat dentro del entorno de pruebas para comunicarse entre ellos.
Leer Más: Los modelos de IA escaparon del entorno controlado de OpenAI y alcanzaron Hugging Face. El cripto es donde eso se vuelve peligroso
Eventualmente utilizaron ese canal para evadir la contención y acceder a internet abierto. Desde allí, encadenaron varias vulnerabilidades y penetraron en los sistemas de producción de Hugging Face. Hugging Face terminó reconstruyendo aproximadamente un tercio de su infraestructura.
Coxon lo calificó como un "disparo de advertencia" que ha hecho que los acuerdos de ritmo entre los laboratorios estadounidenses sean "más viables". Los acuerdos de ritmo son entendimientos informales entre laboratorios de IA para desacelerar o coordinar los avances en capacidades en lugar de avanzar unilateralmente en una carrera.
Aun así, no está convencido de que sea suficiente y no siente que “estemos en camino de prevenir una carrera global,” y sugirió acciones costosas como “una prohibición temporal para mejorar las capacidades de los modelos” para frenar la carrera de la IA.
cryptopolitan.com
diariobitcoin.com