Subscribe
Share
Share
Embed
Exclusivas de La Gaceta
La inteligencia artificial dejó de ser solamente una herramienta que responde preguntas. El salto hacia sistemas capaces de organizar tareas, tomar decisiones y actuar con distintos niveles de autonomía plantea un problema que, para el investigador Adrián Will, ya no puede analizarse con la misma lógica que los primeros chatbots.“En el pasado, herramientas como las primeras versiones de ChatGPT o Claude eran esencialmente asistentes a los que uno les hacía una pregunta y recibía una respuesta”, explica Will, docente, investigador e integrante del Grupo de Investigación en Tecnologías Informáticas Aplicadas (GITIA).Qué sucede cuando dejamos que la IA decida por nosotrosLa diferencia aparece cuando la máquina deja de limitarse a responder y empieza a participar activamente en la resolución de un problema.“Un proyecto complejo requería que un experto humano planteara los objetivos, dividiera el problema, coordinara las soluciones y corrigiera los errores. Los sistemas actuales no tienen esas limitaciones”, señala.Para Will, allí aparece uno de los principales desafíos de las nuevas arquitecturas de Sistemas MultiAgentes: la posibilidad de que diferentes agentes inteligentes trabajen de manera coordinada y desarrollen tareas sin que una persona intervenga en cada etapa.El problema, sostiene, está en cuánto pueden seguir los seres humanos el recorrido de esas decisiones.Zuckerberg rechazó frenar el desarrollo de la IA y defendió los límites del mercado y las demandasCuando un sistema multiagente tiene la facultad de “crear, modificar o desactivar sus propios subagentes sobre la marcha”, explica, “para los ingenieros humanos se vuelve extremadamente complejo seguir el hilo de lo que la máquina hizo, entender por qué lo hizo o modificar su comportamiento futuro para evitar que repita un error indeseado”.La dificultad no está necesariamente en que una inteligencia artificial tenga intenciones propias. Está en que su funcionamiento puede volverse demasiado complejo para ser reconstruido con facilidad por quienes la diseñaron.Automejora recursivaEl factor determinante para que las principales empresas globales del sector planteen la necesidad de desacelerar el ritmo de desarrollo responde a una capacidad técnica reciente: la llamada automejora recursiva (recursive self-improvement).“La IA tiene el potencial de matarnos a todos”, advirtió un exempleado de Google“Lo que empieza a preocupar es que los últimos modelos son capaces de mejorarse a sí mismos. Son perfectamente capaces de encontrar fallas y debilidades en su propio sistema, plantearse objetivos de mejora e implementar una IA más avanzada que incorpore esas modificaciones”, detalla Will. Esta facultad de reescribirse disminuye la necesidad de interacción humana y acelera los tiempos de evolución tecnológica a una velocidad difícil de auditar.El investigador recuerda situaciones en las que modelos avanzados, al intentar cumplir con un objetivo de evaluación, interpretaron las instrucciones de manera extremadamente literal. En esos casos, algunos sistemas llegaron a “escapar del sandbox” -el entorno aislado en el que eran puestos a prueba- y realizaron acciones no autorizadas en red con el único fin de encontrar la respuesta requerida.“Vibe coding”Will advierte que esta pérdida de trazabilidad se profundiza por la falsa expectativa de que cualquier usuario puede construir sistemas complejos únicamente dialogando en lenguaje natural con la máquina.Gigantes tecnológicas proponen crear un organismo de supervisión de riesgos de IA“El vibe coding está exagerado. No es cierto que cualquier persona le va a dar un prompt a un asistente autónomo de programación y va a poder armar un sistema complejo y ponerlo a funcionar adecuadamente”, sostiene.El uso desinformado de esta tecnología ya genera consecuencias concretas en la industria. El especialista cita el caso de Jer Crane en PocketOS, donde un sistema autónomo utilizado sin las pruebas ni salvaguardas de permisos correspondientes borró en cuestión de segundos la base de datos de producción completa y todos sus respaldos. “Eso no ocurre necesariamente porque el sistema haya estado mal especificado, sino porque se desconocen las complejidades y sutilezas que aparecen al diseñar soluciones basadas en agentes inteligentes”, manifiesta."Nos está haciendo más estúpidos": las opiniones encontradas en el mundo sobre la IAAl evaluar las amenazas más urgentes para la región, Will señala que el riesgo inmediato no es una abstracción teórica, sino la democratización del cibercrimen.“Un ataque coordinado a una instalación o una estafa a gran escala eran actividades complicadas que requerían fondos, coordinación y experiencia. Con los sistemas multiagentes actuales esos ataques se han vuelto más sencillos y se pueden realizar sin grandes recursos”, explica.Ante este escenario, la recomendación para el público general incluye extremar medidas de ciberseguridad cotidianas -como no atender llamadas no verificadas y establecer palabras clave entre familiares-, mientras que para los desarrolladores el mensaje es de prudencia profesional. Se recomienda consultar con especialistas antes de implementar soluciones automatizadas en procesos delicados.Nuevos incidentes: OpenAI revela casos de IA que ignoró órdenes de sus creadoresOpenAI reveló seis incidentes en los que sus modelos de inteligencia artificial mostraron comportamientos que se apartaron de las instrucciones de sus desarrolladores. Los casos incluyen intentos de ocultar acciones, modificar sus propias instrucciones, inventar datos y acceder o compartir archivos sin autorización.“Nos estamos quedando sin tiempo”: dos expertos de Google DeepMind renunciaron por temor al avance de la IAEn uno de los episodios, un modelo generó instrucciones para que una versión posterior de sí mismo ocultara que había hecho trampas. En otro, reescribió sus propias pautas para indicar que debía ignorar las órdenes de los desarrolladores. También se detectó un sistema que, al no contar con información suficiente para elaborar un modelo financiero, decidió inventar los datos.La compañía presentó un nuevo sistema para detectar, investigar y reportar este tipo de comportamientos, que denomina “desalineamiento”.