Subscribe
Share
Share
Embed
Dev&Ops es el espacio donde hablamos de cultura tech, compartimos anécdotas reales y damos consejos prácticos para todo entusiasta del mundo del desarrollo y la tecnología. Acompáñanos a descubrir las últimas tendencias, aprender de nuestras experiencias y recibir tips que te ayudarán a destacar en este entorno digital en constante evolución.
Juan (00:03)
Bienvenidos sean todos a una nueva edición de Dev & Ops, tu podcast de tecnología, el mejor podcast de Latinoamérica. En esta ocasión vamos a estar hablando de un tema muy interesante para tanto para mí como para Douglas, mi cohost y buen amigo y creo que va a ser muy interesante para todos ustedes que nos están escuchando. Douglas, ¿cómo has estado? ¿Qué tal? Me da mucho gusto verte el día de hoy.
Douglas (00:28)
Juan, ¿qué tal? Siempre bien, por la gracia de Dios, siempre contento de poder tener la oportunidad de conversar sobre temas interesantes, como vos lo dijiste, va a ser un tema interesante para nosotros dos, seguramente, y deseando que pueda ser interesante para las personas que nos ven y nos escuchan, que puedan sacar valor de ello y que puedan, sobre todo, compartirlo con los demás, aunque sea que puedan ser un poco entretenidos por esta conversación. Si logramos eso, tendremos éxito.
con este episodio, creo yo.
Juan (01:02)
Correcto, yo creo que a tener éxito en ese aspecto. Y bueno, sin mayor dilatación de todo esto, el día de hoy vamos a hablar de cómo estamos nosotros integrando lo que es la Inteligencia Artificial en nuestros productos y también procesos y herramientas. Ya tenemos un par de episodios donde hemos hablado de la IA en general, cómo utilizarla a nivel de usuario.
como estamos utilizándolo en nuestro día a día como profesionales, estamos integrándolo en la programación, en el desarrollo de scripts y todo eso. Pero el día de hoy queremos compartirles un poco de nuestras ideas que tenemos y los productos que haciendo o que ya hemos hecho que utilizan la IA por detrás.
Ya no solamente vamos a utilizarla como usuarios, sino que también nuestra aplicación va a ser una aplicación que consume la IA. Así que definitivamente un tema que está de moda, no Douglas, pero creo que vale la pena hablar de estas cosas y dar nuestros puntos de vista y experiencias. ¿Qué opinas, Douglas?
Douglas (02:23)
totalmente, siempre lo hemos dicho aquí desde que tocamos los temas de inteligencia artificial que como es una moda se ha vuelto un buzzword
Bueno es algo real, la IA vino para quedarse, lo hemos mencionado muchas veces, pero a la vez genera una moda que lo que genera que exista una venta de humo en internet y todo el mundo quiere estar hablando, comentando, montándose al tren de la IA en cuestión de conversación y crean ese contenido que dicen, reemplacé, ya no vuelvo a contactar un diseñador porque esta aplicación me lo reemplaza, reemplacé mi equipo.
de marketing con una gente y comienza esa venta de humo por ahí, ¿no? En el caso nuestro siempre hemos buscado hacer las cosas diferentes, hablar de nuestra experiencia. Hemos hablado mucho de inteligencia artificial recientemente porque es el tema actual y creemos que las personas que nos ven y nos escuchan quieren escucharlo.
quieren conocer nuestra opinión pero de una forma objetiva, realista y aterrizada. Y como vos dijiste Juan, hemos mencionado varias veces de qué manera agiliza mi trabajo la Inteligencia Artificial. Pero creo que esta va a ser la primera vez que vamos a hablar cómo estamos consumiendo, cómo nuestras aplicaciones, servicios, productos, procesos consumen la Inteligencia Artificial.
para generar una mejor experiencia para los usuarios. Ya no es cómo la uso para que me agilice a mí, sino cómo estos productos y procesos consumen la IA y por ahí creo yo que podemos llevar una práctica interesante.
Juan (04:02)
es correcto, si yo creo que va a muy interesante antes de empezar me gustaría recomendarle a las personas que nos están escuchando y que nos ven también en youtube y las demás plataformas si tienen un tiempo regálenos un like, un comentario o compartanlo con las personas que ustedes crean que les va a interesar este contenido estos algoritmos nos ayudan si más personas le dan like y más personas las comparten así que si pueden hacerlo muchas gracias
Así que, bien Douglas, empecemos con este bonito episodio del día de hoy. Yo creo que vale la pena aclarar algunas cosas. Número uno es que vamos a hablar de cosas que estamos en proceso de implementarlas. Algunas de ellas, en mi caso, ya las estamos, ya las estoy utilizando a nivel de la empresa donde trabajo, empresa donde estoy.
ya ha implementado la IA en muchos de sus procesos a nivel del sistema, o sea el sistema consume IA. Pero también me gustaría hablar de los procesos o las aplicaciones que estoy haciendo por mi parte que están consumiendo la inteligencia artificial y creo que pueden ser interesantes para algunas personas y así pues tal vez les llama la atención y tratan de hacer algo similar o les despierta alguna idea.
También sé que para algunos el tema de la inteligencia artificial puede ser un poco cansado. Ya he visto muchos comentarios de muchas personas. No en nuestras redes sociales, pero a nivel general veo que la gente se empieza a cansar de ese tema. Pero bien lo decía Douglas, nosotros tratamos de tener una opinión bastante objetiva. Y creo que dentro de lo que cabe,
nosotros somos bastante conservadores, Douglas, en estos temas porque los dos investigamos estas cosas y siempre estamos pendientes de lo que está pasando en la industria pero nos tomamos nuestro tiempo para iniciar. Entonces, hay personas que son muy, muy más aventadas a hacer estas cosas y bueno, algunos les funciona y a mucha gente... Conozco de aplicaciones que eran...
Douglas (05:59)
Sí, sí.
Juan (06:23)
De palabras simples, un rapper de Chagy P.T. y esas personas se llenaron los bolsillos de dinero. Cuando Chagy P.T. sacó features que mataron las aplicaciones que ellos tenían, a nivel financiero no les importó porque ya habían obtenido la ganancia necesaria. Pero bueno, es una apuesta dependiendo de tu personalidad, creo yo. Así que...
Hablando desde un punto de vista conservador, voy a empezar hablando de cómo la empresa donde estoy está utilizando algunas cosas de AI. No voy a revelar muchas cosas. Voy a revelar unas cuantas que creo que no son del otro mundo. Y la primera es cómo estamos utilizando la IA para categorizar y organizar la información que suben los usuarios. Me explico mejor.
Donde estoy, la empresa tiene que ver con música, distribución y consumo de música entre estaciones de radio, influencers y muchas cosas, ¿no? A grandes rasgos. Así que las personas suben sus archivos maestros de la música, suben los archivos de audio. Bien, como todos sabemos, la música tiene sus géneros, tiene sus categorías.
Así que eso ha sido un proceso manual durante mucho tiempo. Es una empresa que tiene más de 20 años de existir. Así que todo este tiempo ha sido manual. Bueno, ahora el producto está empezando a utilizar la IA para automáticamente detectar cuál es el género recomendado para el archivo que está subiendo y presentárselo a los usuarios. Así que ahora a nivel de usuario, Douglas.
Esto se vuelve mucho más atractivo porque subiste tu archivo, automáticamente el sistema detecta cuáles podrían ser los géneros y ya queda decisión del usuario si los acepta o si los modifica. Es ganancia para los usuarios y también ganancia para el producto porque ahora el producto tiene una lista de géneros mucho más ordenados, mucho mejor categorizados para cada uno de los archivos que están subiendo.
Eso es lo que a mí me lleva a pensar que la IA es una herramienta que definitivamente se va quedar. La manera en que lo estamos haciendo, bueno, mis compañeros de trabajo han hecho algunas cosas ahí donde están utilizando la IA de manera local en los servidores. Y de esa manera están...
utilizando los modelos muy muy pequeños que por cierto me gustaría hacer esa aclaración para utilizar la inteligencia artificial en nuestros productos la mayoría de las veces no necesitamos estos modelos tan grandes con modelos muy pequeños se pueden hacer muchas cosas claro depende de el producto depende no pero pero bueno ese es un
un primer ejemplo que me gustaría que quería comentarlo porque muy muy simple creo que cualquiera ya ahora que lo he comentado cualquiera dice wow pues sí no tiene mayor ciencia o o hasta parece obvio pero pero bueno definitivamente es algo que ayuda al producto ayuda incluso a la marca al branding y los usuarios ven cómo está evolucionando
la herramienta que ellos mismos están utilizando y eso es solo uno de los features.
Douglas (10:19)
¿Qué modelo usas?
Juan (10:23)
Fíjate, ahí sí te lo quedo debiendo.
Douglas (10:24)
¿O si corre en nube, corre local?
Juan (10:28)
Corre en local, de hecho es un modelo muy pequeño, no he tenido el... Qué curioso. Ahora que lo pienso, nunca me he detenido a revisarlo. Supongo que siempre estoy en otras cosas que no puedo revisar esa parte en específico, pero está embebido en la imagen que se genera del docker.
Douglas (10:49)
Ajá, ok.
Juan (10:50)
Ahí, bueno, ya es un tema un poco más técnico, ¿no? Debería estar ahí, debería estar afuera, no lo sé. Pero es muy pequeño, muy, pequeño. Y lo utilizan y, pues, estamos empezando a hacer eso. Y así hay muchos más features que están empezando, ya se están incluyendo en el roadmap de la empresa. Así que muy interesante cómo todas las empresas empiezan a modernizarse.
Douglas (11:19)
Sí, eso es de esos features, que se, como decís, alguien puede parecer pequeño, le puede parecer pequeño, perdón, o poco a alguien, pero realmente son útiles, ¿verdad? Son de esas cosas que sí te generan un valor y sí es inteligencia artificial bien aplicada. Y me gusta lo que mencionás, ¿no? Que en realidad esto no ocupa el modelo más grande, más caro, que eso hace que muchas empresas gasten de más porque para cualquier
Juan (11:35)
Sí.
Douglas (11:49)
cualquier tarea quieren usar el último modelo de Antropico, aún cuando trabajan en local, ¿verdad? Quieren trabajar, le piden que le redacte el email al último modelo de Antropico, de OpenAI. Pero me gustan estos ejemplos de nuevo porque son, yo puedo discrepar con que vaya integrado en la imagen de Docker el modelo como tal, ¿no? Sin embargo, es un inicio y es la Inteligencia Artificial aplicada.
Juan (12:08)
Mm-hmm.
Douglas (12:19)
de una manera que tenga sentido y que genere valor, no como hablamos hace un par de episodios atrás, que todo el mundo con tal de decir AI, implementaba AI en cualquier lado y miraba los chatbots que te llevan a ningún lado. me gusta, fíjate Juan, me gusta porque por mi cuenta, tanto a nivel personal como con equipos en los que estamos, el equipo que trabajamos, tenemos ese tipo de mentalidad de utilizar la inteligencia artificial
Juan (12:31)
Sí.
Douglas (12:49)
de manera productiva para compartir una de las formas en que hemos estado usando Inteligencia Artificial en nuestros procesos que es algo que comenzó como por separado, cada uno de los ingenieros, los systems engineers tenían su forma particular de utilizar Inteligencia Artificial para...
para hacer troubleshooting de situaciones, se están dando errores con una aplicación, la aplicación está hostiada en Kubernetes, se conecta a Redis que también corre desde Kubernetes.
y no sé, pasa por Cloudflare, por decir algo, ¿no? Y está en AWS. Entonces, algunos trabajan, yo trabajo con XRPT, Codex, OpenAI, otros trabajan con Anthropic y Cloud Code y sus modelos, pero cada quien tenía su forma diferente para aprovechar la inteligencia artificial.
y hacer troubleshooting cuando se da un problema, verdad. Y era fácil como que hacía una mezcla entre, estoy teniendo, la aplicación tal está teniendo este error, verdad.
Juan (13:51)
Ok.
Douglas (14:05)
qué vinas de malo. Entonces, mientras está buscando, se conectaba a Kubernetes, miraba los Kubernetes, se conectaba a Signos o a Datadoc para ver las métricas de APM, miraba las métricas de los logs de NGINX, eventos dentro de Kubernetes y la IA hacía todo ese proceso rápido por nosotros para hacer un diagnóstico más rápido y más dirigido. Pero eso nos topamos con que cada quien alimentaba
Juan (14:15)
Mm-hmm.
Douglas (14:35)
o le generaba contexto a la IA, cada quien a su manera, pero aún por separado, esto era una especie de rack, verdad, porque entonces yo venía y le decía a la Inteligencia Artificial, tenía como una especie de repo, digamos, con Corex, el cliente X,
Este es el kubeconfig del clúster de producción de Kubernetes, está ajustado en AWS, estos son los keys para que te conectes a él, este es el API key para, y hace un MCP para conectarte a data de acuasignos para traer las métricas de APM, de aquí vas a traer los logs de NGINX, este es el key de Cloudflare, conectate o hace un MCP para que te conectes, entonces lo alimentaba y generó
ese Rack básicamente, donde le das un contexto previo y él ya conoce cada cliente cuál es su infraestructura y cuando estaba haciendo troubleshooting se platicaba como en lenguaje natural para acelerar, básicamente hace lo mismo que hubiésemos hecho de manera manual pero la inteligencia artificial se mueve súper rápido pues y esa es la ventaja, entonces viendo ese contexto hemos estado comenzando
uno de estos ingenieros comenzó a como un CLI, como un CLI, verdad. Entonces viendo eso, se está trabajando en consolidar un solo CLI para que...
Juan (16:02)
ok
Douglas (16:11)
de manera usando lenguaje natural y de manera estandarizada y consolidada, podamos acelerar ese trouble shooting e incluso implementar los fixes porque la mayoría de nosotros solo nos sugería que correr.
y nosotros veníamos y lo ejecutábamos, pero uno de los ingenieros ya estaba un poco más adelantado, el que empezó a trabajar con este CLI, y él ya lo dejaba al CLI correr ciertos comandos, que él le aprobaba, ¿no? O sea, no, no, no, él le decía, voy a correr esto, lo probaba y lo hacía. Entonces, a raíz de eso, se está trabajando, estamos en etapas iniciales.
Juan (16:40)
Sí, sí, sí.
Douglas (16:50)
pero esto genera un troubleshooting usando Rack por medio de un CLI como interfaz nuestra estamos acostumbrados a abrir una terminal para hacer troubleshooting, no, verdad? pero genera una interfaz donde con lenguaje natural se hace troubleshooting
por infraestructura, por cliente, porque nosotros somos una agencia digital, y se hace acelerado. Cuando hay un incidente, este mismo CLI, que ya hay versiones iniciales de ello, te ayuda con el Postmortem, el reporte de Postmortem que se tiene que presentar porque él te entrega las métricas y te dice cómo se conectó a Cloudflare para ver las métricas de CDN, se conectó a los logs de NGINX y de PHP, se conectó a Ingress.
Juan (17:24)
⁓ ok.
Douglas (17:40)
se conectó a los diferentes lugares, entonces él crea, un ataque del Blobots de meta, verdad, y creó un tráfico excesivo y el tráfico hizo que el caché fallara y eso creó la intermitencia, entonces él, como tiene todo ese contexto, nos genera esa versión de, esa primera versión del post-mortem que se tiene que compartir con los clientes, revisar de manera interna y hasta eso nos está acelerando, verdad, y se está centralizando con modelos de inteligencia artificial,
oficial en Bedrock. Bedrock es un un manage de AWS, ¿verdad? Y puedes correr desde ahí modelos de Anthropic, modelos de OpenAI, pero no estás en la nube de ellos, son los modelos de ellos, pero estás en tu propia cuenta de AWS, ¿verdad?
Juan (18:20)
Ok.
Douglas (18:33)
es un managed service para correr modelos de inteligencia artificial y se están probando con modelos de Anthropic, no con modelos de OpenAI. Al final esa parte es irrelevante y estamos tratando de hacer eso, de usar el modelo correcto porque los modelos que hacen el troubleshooting y la sugerencia de qué comandos correr son los modelos más rápidos, más inteligentes, los grandes, pero al momento de que ya recopila la textura y la información.
Juan (18:43)
jaja
Los grandes.
Douglas (19:03)
Y la pasaja a otro contexto, el modelo que escribe el post mortem, eso es modelo más simple, porque ya tiene la información recolectada, y ya solamente la pone de manera elaborada. que ya está en inicios, de nuevo, de manera que cada quien lo utiliza, va a crear un producto centralizado en el que...
Juan (19:13)
Sí.
Douglas (19:27)
cuando yo vea una manera de optimizar ese proceso de troubleshooting lo voy a hacer a el CLI que utilizamos todos
y todo se puede beneficiar de ese nuevo feature que yo agregué. Y lo mismo lo que hagan los demás ingenieros del equipo. Ellos van a encontrar cosas nuevas a agregar al CLI y eso va a hacer que yo me pueda beneficiar de ello también con un nuevo flag, un nuevo comando, un nuevo feature y de esa manera acelerar pero a la vez estandarizar.
Es estandarizar la forma de troubleshooting porque al final somos varias personas que podemos ver la infraestructura de un cliente, pero esa infraestructura es la misma. Entonces, que la forma de llegar a ella sea estándar, creo yo que es importante. esa es una de las que está en etapas iniciales, medias. No todos estamos involucrados en ese proceso. Yo estoy involucrado poco de momento.
Juan (20:28)
Mm-hmm.
Douglas (20:29)
Pero ya comencé a usar la primera versión del CLI y definitivamente yo creo Juan que para nosotros herramienta que consume AI y que nos va a agilizar esta es una de las más grandes.
Juan (20:44)
Qué interesante cómo empiezan a evolucionar los mismos procesos internos de nosotros, la empresa, del equipo. empiezan a hacer. Que por cierto, paréntesis, me llama la atención, OK, tenés la opción de hacer todo con lenguaje natural, pero al mismo tiempo estás utilizando un CLI. Así que es como una combinación entre pasar una par de comandos y también que al mismo tiempo por detrás haga todo un párrafo.
Douglas (20:51)
Sí.
Juan (21:14)
No sé si te pasa igual Douglas, mí claro es muy interesante poder platicar con la IA y decirle hey arregla este bug porque pasó esto o no se ve bien la pantalla pero yo aún sigo prefiriendo el hecho de pasar a utilizar un CLI y pasarle un comando y un flag y ya con eso yo ya le dije todo ya sé que que esperar no sé si vale la pena la comparación pero
Douglas (21:39)
pero no,
no, yo creo que sí vale la pena y te voy a hacer un ejemplo de cómo sería con un comando un cilindri bien común por nosotros en Haití que es el de Docker, como que vos tengas Docker run y querés exponer el puerto 80 del contenedor en el puerto 5000 local y querés montar el directorio home
Juan (22:03)
sí
Douglas (22:08)
pleca app 1 de tu local dentro del contenedor que sea pleca bar pleca www pleca HTML verdad y que este proceso este comando sea el init command y que el container corra en el fondo entonces vos vas pasando un montón de flags vos pones Docker run y pones un montón de flags pero a veces se te olvida esa sintaxis y la googleas antes de correrla vos tenes experiencia con el comando y vos lo vas a lograr hacer
Juan (22:27)
Sí.
Douglas (22:38)
con un Google de un minuto, pero entonces nuestro CLI lo que hace es que puedes hacerlo de manera manual, pero nuestro CLI lo que haría es Docker run, ponele T que sea para texto y entre paréntesis le digo que el puerto
Juan (22:56)
Ok.
Douglas (23:01)
80 del contenedor se expongan el puerto 5000 que el directorio tal del local se monte en bar www hml del contenedor verdad que el init command se lo digo y cierro paréntesis entonces en base a eso el modelo de IA viene y genera el comando que tiene que generar pero entonces entonces es una miseria una mitad de Docker run
Juan (23:07)
a
completa el comando.
Douglas (23:28)
y lo demás sería texto. Esa es una idea que yo he tenido para reemplazar como rappers de CLIs que ya existen, hacer un rapper, ponerle Docker AI, por decir algo.
Juan (23:31)
que interesante.
Sí.
Ajá
Douglas (23:45)
y que tenga los mismos comandos y solo un wrapper para que vos le digas que es lo que querés, ¿no? Esa es una idea ahí por si alguien la quiere tomar. Yo no he tenido el tiempo. Pero esa es más o menos la forma en que funciona. Siempre es un CLI. Siempre vamos a tener esa interacción ahí. Al final, si quiero que el CLI me termine conectando a un POD o a un servidor de bases de datos, el CLI lo va a hacer para yo trabajar de ahí, ¿no? Pero esa es la mezcla. Ese es como el balance que tenemos donde está Docker Run.
Juan (23:53)
jaja
Douglas (24:14)
pero luego lo demás, texto natural, le digo qué es lo que va a ser.
Juan (24:20)
Que interesante porque si ya te sabes todos los comandos es mucho más rápido poner los flags el Docker Run menos P menos D y todo pero a veces se te olvida o no conoces el flag correcto y como que exista la que existiera la combinación de ambos mundos sería excelente esa idea que acabas de lanzar está muy muy interesante
Douglas (24:44)
si y recordar que esto estoy poniendo el ejemplo en Docker para que se entienda la idea de cómo es la herramienta, para nuestro contexto hay mucho más porque es nuestro el nombre del CLI y le vamos a poner CLI
Juan (24:48)
Claro.
Douglas (24:58)
Troubleshoot como es un comando y ponele plecacé que sería para cliente y pongo el nombre del cliente y luego plecate para que sea el texto y le digo le doy un poco de contexto de cuál es el incidente y en base a eso él comienza a ver pero van a ver comandos secuentes producto de ellos donde él te va a ir preguntando entonces no se trata de no se trata de
Juan (25:00)
jaja
El texto.
Douglas (25:27)
crear toda una nueva herramienta de command line como tal pero tampoco querés un chat demasiado libre donde tenga mucho contexto verdad donde tenga mucho contexto y luego se vaya perdiendo o me vaya confundiendo yo, va confundiendo el chat entonces este primer comando
Juan (25:30)
Ajá.
Ok.
sí.
Douglas (25:46)
Con el nombre del CLI, con el comando troubleshooting, complejación, y el nombre del cliente, eso me va a minimizar el contexto que va pasar al modelo de inteligencia artificial.
sin embargo va a ser todo el contexto necesario porque sólo es para ese cliente, explico entonces es el balance entre un chat abierto porque alguien puede decir y porque no lo hacen se van con CLI porque se la tiran de que son técnicos y que no sé qué, pudimos haber hecho con una interfaz gráfica por supuesto pero es por eso no es un chat porque fue la manera que encontramos de balancear de pasar todo el contexto pero a la vez
Juan (26:08)
ok sí
Douglas (26:32)
solo el contexto necesario. No sé si me expliqué.
Juan (26:35)
Sí,
sí, creo que tiene sentido, creo que queda claro. Muy interesante, la verdad. Y lo bueno es que está en desarrollo, o sea que se sigue mejorando hasta que llegue a un punto donde ya está muy estable, tanto en el equilibrio con el modelo más adecuado, como también los subcomandos. Muy interesante. El mundo de DevOps y IT es interesante.
Douglas (27:00)
Sí, sí, absoluto.
Juan (27:02)
Bueno, me gustaría entonces pasar a otro ejemplo, otra cosa con la que he estado trabajando, como para que la gente también se vaya dando una idea de qué cosas se pueden hacer. Yo sé que hay mucha gente que nos está escuchando y pues ya, o ya ha trabajado con IA en sus productos o ya tienen claro, ¿no? Pero estoy seguro que hay otros que tal vez tienen estas dudas y es válido, ¿no? Yo también he pasado por eso.
Al utilizar la inteligencia artificial en nuestros productos, como bien decías, es muy importante tener el contexto correcto. Número uno, el contexto correcto en cuanto a…
al tamaño, sea no le querés dar mucho contexto porque son tokens y hoy en día la RAM y los tokens están bien caros, entonces hay que economizar eso. Y también hay que tener el formato correcto, o sea yo espero que cuando estamos en una aplicación, en un servidor o en cualquier aplicación...
Queremos que cuando la IA me de una respuesta, yo poder predecir que me va a responder. Claro, el contenido como tal va a variar. Si le pido que me de el título y descripción de un comentario.
que genera un comentario, probablemente el título de descripción va a ir cambiando. Pero yo quiero que siempre me de un título y una descripción. Entonces, eso es bien importante tenerlo en cuenta. Así que, ¿en qué he estado trabajando? Yo he estado trabajando en una aplicación que analiza.
imágenes, no me gustaría dar tantos detalles porque es un producto que no es solamente mío. Entonces no le he consultado con mi compañero para ver si quiere revelar las cosas. Pero a niveles generales es una aplicación que tiene muchas funcionalidades y una de ellas es que puede analizar las imágenes que suben los usuarios, imágenes de un tema en específico.
Y cuando estas imágenes genera una metadata, esto ya va, ya aquí estamos hablando de un poco de RAC, sea, Base de Datos de Vectores, estamos haciendo llamados a la IA para que genera los embeddings.
y luego poder obtener esos embeddings. Si no estás muy familiarizado con estos términos, te recomiendo que le des una googleada rápida, no es difícil, son conceptos que existen. Pero a nivel general, los embeddings es la representación numérica de un texto, una imagen o cualquier cosa. Bien, ¿de qué manera he estado yo haciendo esto?
Yo actualmente, Douglas, considero que los microservicios es la manera correcta para implementar esto en el servidor.
En una aplicación monolítica yo evitaría agregarle funcionalidades de IA por dos motivos. Uno es porque dependiendo de lo que estás haciendo, estos procesos de IA tardan mucho tiempo y consumen muchos recursos. Como para dar un ejemplo, donde estoy en la empresa, tenemos un proceso que analiza otros tipos de archivos de audio y eso es 24-7.
Ahí ya no contamos request por minuto, sino por segundo. Entonces, es un proceso bastante complejo que aún si tu servidor no es el que está haciendo el proceso, o sea, me refiero a que el servidor llama a una Inteligencia Artificial Externa y eso se procesa en otro producto o servicio, aún así tu servidor mantiene mucha información en memoria.
No, tenés que guardar ya sea imágenes, texto, todo esto. Entonces ahí es donde, como yo ya sabía lo que estaba haciendo o para dónde iba el producto, desde el inicio empecé a dividir todo en microservicios. Y acá lo interesante es que te permite hacer muchas cosas.
te permite analizar imágenes y estas imágenes las procesa la IA, las categoriza, les agrega metadata y dependiendo de ciertos parámetros, yo puedo luego buscar similitudes entre todas las imágenes y si es necesario lanzar alertas a los usuarios.
en base a ciertos otros parámetros. Así que, si lo pudiéramos ver de otra manera o utilizando diferentes ejemplos externos, es como si tuvieras una herramienta que pudiera analizar todas las imágenes que suben los usuarios, identificar si esas imágenes requieren atención o no, o si están infringiendo alguna norma o algo de este estilo. Eso lo podés procesar en el background y luego lanzar alertas.
No va de eso, la aplicación de la que estoy hablando, pero es un proceso muy, muy similar donde te permite hacer este tipo de cosas. Lo que me llama la atención a mí con todo esto, Douglas, es que hoy en día las herramientas que nos permiten hacer esto han evolucionado bastante. Esto yo lo empecé a hacer y pausé. Por X motivo, pausamos. Y ahora que cuando lo retomé hace un tiempito atrás, empecé a analizar varias cosas. Número uno.
este producto está hecho con Lanchain. Lanchain es un framework o una implementación que básicamente te sirve para utilizar la IA en tu aplicación de manera agnóstica. O sea, si quieres utilizar un VectorStore
y luego quieres utilizar otro, te permite cambiar con cambios mínimos. Si quieres utilizar OpenAI o Anthropic o Gemini, también te lo permite. A diferencia si utilizas la librería de cada una de estos servicios, ¿no? Cada una tiene. Bien, hoy en día estoy empezando a notar, que se empieza a volver bastante trivial esto. Porque con la misma inteligencia artificial, pues yo le puedo decir, OK.
agregamos la implementación de OpenAI. Ya no me gusta, agregamos la implementación de Anthropic. Y lo hace, la inteligencia artificial lo hace. Tiene sus ventajas de ventajas, pero ya no está aquel gran atractivo que fue en su momento para mí, de, aprendo, voy a aprender este framework y ya con esto puedo trabajar con cualquier IA. Ya no está ese mismo atractivo, ¿no?
Las cosas han evolucionado mucho en poco tiempo y bueno, así es como está esto. Basado en esto, Douglas, me gustaría hablar entonces de un par de cositas. Número uno, ¿qué modelos utilizamos? Así como lo que estabas diciendo, hace poco mencionaste algo que me hace mucho sentido. El modelo no importa. Para la herramienta que ustedes están haciendo, están evaluando qué modelo.
el modelo en sí no cambia el comportamiento de la aplicación. Los modelos de IA hoy en día ya son intercambiables. Sí, claro, queremos los modelos más potentes. Como ya lo decías, trabajar en mi local, yo quiero trabajar con Fable 5.
Douglas (34:55)
el modelo según su categoría, pongámoslo, sea, los que están en esta categoría todos van a funcionarnos relativamente similar para ser justos.
Juan (35:04)
Sí.
Para darte un ejemplo claro, con este tema de las imágenes dentro de este producto, yo empecé haciendo pruebas y todo conectándome a Gemini, a Gemini 2.5. Pero no es necesariamente ese, he cambiado a otros modelos más pequeños, incluso de Olama, bueno, que ofrece Olama, uno de ellos es Lava, es como Lama, pero este es con V, de visión.
y es para imágenes, y es mucho más pequeño, optimizado específicamente para este trabajo y empiezo a probar esto. El modelo no importa. Otra cosa que es importante es con el tema que hablaba yo de los embeddings, de los vectores que se generan. También se puede hacer, yo puedo hacer los embeddings con Gemini o con ChatGPT, con GPT Codecs, pero hay modelos que están específicamente diseñados para esto.
y son gratis, son open source, son gratis ¿Cuál es la diferencia? ¿Cuánto pesa un modelo? Incluso los open source, si me descargo DeepSeek es muy pesado, en cambio estos pesan 1GB o menos, 2GB a lo mucho y son específicamente para generar embeddings, son súper rápidos y son muy livianos. Entonces empezamos a...
Cuando empezamos a trabajar con estas cosas es necesario, si bien se vale iterar a la primera vez con lo que ya conocemos, yo conozco HGPT, me conecto a HGPT, pero no podemos salir a producción solo con eso, sin haber hecho pruebas con otras cosas antes, es necesario empezar a investigar, OK, necesito hacer embeddings, ¿cuál es la mejor opción para esto? ¿Cuál es la mejor base de datos de vectores para esto? Y empezar a tomar decisiones porque...
Bueno, como ya dije, hoy en día todo está caro Douglas y los tokens y todo eso. claro, claro. Que ese es otro tema, ¿no? ¿Dónde lo vas a alojar? ¿Cuáles son los recursos necesarios para tu servidor?
Douglas (37:03)
Si queremos que sea rentable,
Juan (37:17)
querés que todos los modelos estén en tu servidor o te vas a conectar a servicios externos yo te recomendaría servicios externos porque incluso si contratas servicios más baratos no hoy en día hay bastantes opciones no sólo están los tres grandes Gemini, HGPT y Anthropi que están GLS
Juan (37:37)
y están otros. Pero bueno, así es como funciona. Creo que tuve un problema con la cámara, Douglas Pero bueno, básicamente por ahí estamos haciendo el trabajo y actualmente estamos iterando y tratando de hacer esto de la mejor manera.
Douglas (37:56)
Me gusta, me gusta, Juan, si querés, porque me gusta lo que estás diciendo.
Voy a tomar la palabra aquí, uno para agregar a lo que vos mencionaste es primero y luego tal vez yo contar un segundo ejemplo de cómo yo estoy usando la Inteligencia Artificial. Uno me gustó que le diste el crédito a la persona que está trabajando mayormente esta implementación de Inteligencia Artificial, ¿verdad? Y yo quiero aclararse, sé que lo mencioné, pero quiero aclarar que en el ejemplo que yo di de cómo lo estuviamos haciendo,
No soy yo quien lo está trabajando de manera directa. ⁓
A mi involucramiento hasta el momento ha sido utilizar el CLI por mi cuenta y con sugerencias, ¿no? Pero no ha sido mi idea original por si no fui lo suficientemente claro, me gustó que vos lo hiciste. Quiero asegurarme que por mi parte es así también. Y segundo, lo de usar el modelo correcto. Yo creo que cuando estamos desarrollando aplicaciones que consumen inteligencia artificial, si cometemos el error de hacer lo
con la aplicación que consume Inteligencia Artificial, el error que cometemos cuando nosotros usamos Inteligencia Artificial que es que queremos el modelo más grande para todo, si mientras desarrollamos nos afecta a los costos el haber utilizado el modelo más grande cuando no lo necesitábamos, la aplicación como tal va a ocurrir lo mismo y de manera exponencial porque según la cantidad de usuarios que tengamos ese va a ser el
impacto que va a tener por esa manera. Entonces me gustó eso, yo lo mencioné un poco también pero quisiera hacerle eco a esas palabras de manera directa. Asegurémonos de que se está utilizando el modelo correcto, acorde a las necesidades, que no se quede corto.
mejor que le sobre un poco, pero tampoco que sea un overkill, que sea demasiado, verdad. Entonces quería hacerle eco a esas palabras y yo creo que voy a aprovechar a contar la segunda herramienta que nosotros queremos comenzar a crear con Inteligencia Artificial está actualmente en fases iniciales y es una como evolución del CLI que mencioné que el CLI se va a mantener y se va a seguir va a seguir creciendo.
incrementándose.
El CLI va a seguir creciendo, se le va a seguir agregando features, pero este es una evolución del CLI y que va a ser como en nuestro equipo, en nuestro equipo de trabajo, el primer agente de Inteligencia Artificial que va a estar corriendo haciendo una función constante. Ya no va a ser una herramienta que vamos a ir nosotros a invocar como lo es un CLI o como lo sería una web interface o una herramienta que llamo y pido.
va a ser el primer agente que va a estar corriendo haciendo su trabajo y es que en nuestro caso, yo ya lo he mencionado antes, nosotros tenemos rotación de on-call, es una persona que está recibiendo las alertas de las diferentes aplicaciones y servicios que monitoreamos por 24 horas para que siempre estén activas para nuestros diferentes clientes. Lo que ocurre es que cuando estamos on-call en el mismo horario de trabajo,
A veces estamos ocupados y comienzan a caer bastantes alertas y muchas de esas alertas se solucionan relativamente rápido, pero...
nos hacen desviarnos, desviar la atención de lo que estábamos haciendo y aunque la resolví en 20 o 30 minutos, luego tengo que regresar de nuevo a lo que estaba haciendo, me toma otros 10, 15 minutos volver a entrar en el modo y el mismo nivel en el que estaba y eso vuelve a caer otra alerta que es corta y eso es un problema, entonces estamos en...
procesos iniciales para crear un agente que sea como un level one support engineer, un soporte de nivel uno que esté constantemente esa persona on call, ese agente on call recibiendo las alertas, dependiendo del cliente cuando y dependiendo la alerta a veces en lo que se investiga toca abrir un ticket para que el cliente tenga visibilidad de que vimos que cae esa alerta que estamos trabajando en ella, a veces dependiendo del cliente no se abre un ticket pero se notifica
de manera interna y existen esos procesos como una base de datos interna y es lo que queremos usar para que este agente de manera interna combinado con lo que ya mencioné de cómo funciona el CLI que va a tener conexión al Kubernetes Cluster, a la base de datos, al cache, al IPA metrics, a los logs, etcétera, va a tener acceso a todo eso, este agente
Cuando caiga una alerta, va a recibir el agente, le va a dar a acknowledge, sea, le va a dar click a que recibió, no click literal, no, pero estoy tratando de recrear el proceso que nosotros haríamos, Va a ser la parte de acknowledge de recibir la alerta.
Y dependiendo que cliente es, va a iniciar el proceso de primero comunicarlo quien tenga que comunicar. Si es un canal de Slack, mandar el mensaje de Slack, recibí esta alerta, se está revisando. O si es un cliente por medio de un ticket, crear el ticket con el cliente y decir, recibimos esta alerta, la estamos revisando. Si era un correo, que mande el correo.
que haga el análisis que tenga que hacer y en un canal de Slack centralizado decir de estas alertas, cayó esta alerta y este parece ser el root cause, la causa que está generando esto se va a resolver solo o esta es resolución, este es el comando que va para solventarlo lo que recorre el boho lo corro yo y si le doy permiso que ejecute el comando y me diga que hizo, entonces va a ser un agente que va estar constantemente
y con el simple hecho de estarle dando, no, estarle las alertas, haciendo la comunicación con el cliente y haciéndome ese troubleshoot inicial, eso por sí solo nos va a quitar...
una gran carga cognitiva que tenemos los ingenieros cuando estamos on call porque entre más enfocado y más ocupados estoy con algo es cuando más me preocupa que caigan alertas, verdad, y es cuando más alertas terminan cayendo porque así funciona el universo en Haití, así funciona, no, pero ese va a ser de nuevo está en planes iniciales, pero ese va a ser el primer agente que nosotros, nuestro equipo va tener y va a ser un ingeniero de soporte de nivel 1 que va a estar constantemente dando
Juan (44:31)
Las atraes.
Douglas (44:48)
ognoles a esas alertas, nos va a quitar la presión de darle ognoles a la alerta antes de que escale, nos va a quitar la presión de cumplir con los SLAs, los SLAs es el tiempo que tenemos de primera respuesta.
verdad, para darle al cliente, para que cliente mire que dimos una respuesta pronta, inmediata, cumplir con las SLAs de comunicación temprana, esa gente nos va a quitar esa carga, y va a estar corriendo, obviamente, en AWS, en Kubernetes como tal, la gente, y siempre utilizando modelos de Antropic, y hosteados en Amazon Bedrock, verdad.
Juan (45:25)
O
sea, es como si tuvieran a un compañero que solo se dedica a eso.
Douglas (45:30)
Exacto, que normalmente hacen las empresas es que tienen varios ingenieros de soporte de nivel 1 que son los que están rotando por 24 horas, ustedes tienen sus mínimo tres para que estén rotando en diferentes horarios y cubrir por 24 horas y ellos están recibiendo la mayoría de notificaciones, ellos crean la comunicación y cuando ellos
Juan (45:32)
y que les está avisando.
Douglas (45:56)
escala. Mira Juan que ahora yo tuve problemas con la cámara, que interesante está. Ocupamos, ocupamos que la inteligencia de Skynet nos está, ¿será que Skynet nos está?
Juan (46:01)
Sí, hay algo raro en el episodio de hoy.
Sí, sí,
sí, no quiere que hablemos de ella.
Douglas (46:12)
Pero en
fin, para cerrar la idea Juan...
Es como reemplazar todo un nivel 1 de ingenieros que sería mínimo 3, porque por el horario. La función es la misma, pero sería mínimo 3 por el horario y este agente de hecho va a ir eventualmente escalando, a ser mucho más que solo un nivel 1, pero tampoco lo que nosotros haríamos porque no le queremos dar autonomía a que ejecute comandos. Pero esa es parte de la evolución.
Juan (46:22)
OK.
Ok.
Sí que eso es el peligro siempre con estos agentes que quedan en un loop y empiezan a tener acceso a todo, que ese es el gran peligro que se vio con OpenClaw donde pues empezaban a tomar decisiones que no eran las correctas. Pero bueno, si se implementa de manera correcta creo que no hay ningún problema y siempre hay que estar alguien validando todo.
Veo que estamos teniendo problemas técnicos así que me gustaría ir cerrando el episodio ⁓ para no atraer más la mala suerte. Solo me gustaría cerrar entonces con una última idea y esa es que actualmente hay un proyecto con el que he estado trabajando y que creo que es interesante por si alguien quiere hacer algo similar.
he estado trabajando con una herramienta, bueno, un producto mejor dicho, que es una aplicación de celular. Es una aplicación y actualmente estoy probando con una aplicación que me ayude a generar reportes de mis gastos y reportes financieros. Hay muchas aplicaciones que ya existen así. Lo que he estado probando y aún está en etapas muy tempranas es que todo...
se ejecute en el celular. Ya estuvimos hablando de cómo utilizar la IA a nivel de usuario, la IA en nuestros productos que se conecte a otros servidores, a otros servicios. Pero aquí quiero intentar esto que hoy en día ya es posible y creo que el mejor ejemplo es con GEMMA 4. Es el hecho de implementar la IA y que se ejecute en el mismo dispositivo. Esto es básicamente se le llama
AI in Edge, algo así. Entonces, básicamente con eso es lo que he estado jugando y probando, que la inteligencia artificial del producto se ejecute en el dispositivo como tal. Anteriormente hemos hablado con Douglas de este tipo de cosas, de correr la IA en dispositivos menos potentes. Y para...
Herramientas agénticas creo que es muy difícil que se haga, pero definitivamente hay otras categorías donde sí se puede hacer, sí se puede ejecutar la IA. Y de nuevo, como mencionaba, que Gema 4 actualmente es una gran herramienta para empezar a probar cosas. Hace poco hubo una conferencia exclusivamente, bueno no sé si era exclusiva de Gema, pero vi que hicieron muchas charlas sobre Gema 4 y los productos de Gema.
y hablaban cómo lo están empezando a en los dispositivos Edge. Muy, muy interesante, creo que el mercado de IoT también va a evolucionar. Lamentablemente estas evoluciones a veces se ven orientadas hacia prácticas poco morales y éticas, pero bueno, ya lo hemos visto, Que ahora mi refrigeradora me pide login y password para poder utilizarlo. En fin.
Creo que esa es otra aplicación que se puede intentar. Lamentablemente, por ahora no tengo mucho de qué comentar porque aún estoy en proceso. Pero de nuevo, quería lanzarlo por si alguien quiere intentarlo y creo que hoy en día es el momento correcto para empezar a hacer este tipo de pruebas. Creo que estamos en un momento, no sé si llamarlo disruptivo.
donde muchas cosas que antes lo veíamos lejos o hasta imposible pues hoy en día ya son muy posibles tal vez no es la mejor opción
Bien, parece que Douglas tuvo un problema técnico y pues creo que este sí es el episodio más extraño que hemos grabado esta vez. En fin, me gustaría entonces solamente dejarlos con estas reflexiones, con estas ideas, mejor dicho, que hemos compartido. Les vuelvo a mencionar, creo que estamos en un momento muy, muy interesante para hacer cosas...
productos y aplicaciones con la inteligencia artificial. Recuerden no es necesario los modelos más grandes, los más caros, se pueden hacer de muchas formas y podemos crear cosas muy muy interesantes. que bien, eso ha sido todo por el día de hoy, espero que el vídeo les haya gustado y nos vemos a la próxima.