
Tu propia IA en lugar de la suscripción: por qué aún no sirve para agentes y dónde ya conviene
La suscripción a un modelo potente cuesta dinero, y casi cada semana salen modelos gratuitos que, según sus propias tablas, son casi igual de buenos. Dan ganas de descargar uno, instalarlo en casa y no volver a pagar. Para el trabajo principal de un agente, eso todavía no es una salida, y el problema no es la velocidad. Un modelo grande simplemente no cabe en casa. Y uno pequeño se equivoca un poco más en cada paso, y en una tarea larga esos errores se suman hasta el fracaso. Vas a entender por qué no conviene creer en las tablas de los anuncios y vas a saber cómo pedirle a tu agente que compare modelos con entre treinta y cien ejemplos reales tuyos. Y si de todos modos ejecutas un modelo en tu laptop, vas a saber qué ajuste revisar primero: por defecto, el modelo recuerda demasiado poco texto como para que un agente pueda trabajar con él. La segunda mitad trata de dónde un modelo pequeño propio ya sale más a cuenta: en una sola tarea específica y repetitiva, si lo entrenas con tus propios datos. Toda la parte técnica la hace el agente. Vas a saber cuántos ejemplos hacen falta y cuánto cuesta el hardware, y vas a conocer tres trampas: las reglas de Anthropic y OpenAI sobre entrenar con sus respuestas, los datos personales de otras personas y la seguridad de un modelo ajeno en tu servidor. Al final, mi pronóstico de cuándo los modelos en tu propia computadora van a alcanzar a los mejores de pago.
Transcripción
Toca un párrafo para escuchar desde ahí.
¡Buenas noches, startuperos y vibe coders! Hoy les voy a contar si se puede instalar una red neuronal propia en su computadora y dejar la suscripción de doscientos dólares al mes. Lo digo desde ya: para el trabajo principal de un agente, todavía no, y les voy a explicar por qué el problema no tiene nada que ver con la velocidad. Después les voy a mostrar dónde un modelo pequeño propio sí sale ganando y por qué yo mismo, en muchos de mis proyectos, ya me las arreglo sin los grandes.
Esta pregunta se escucha hoy por todas partes. En las últimas semanas salieron varios modelos abiertos, cada uno con una tabla muy bonita en su anuncio, y uno de ellos, según sus propias mediciones, casi alcanza a Opus. Y a mucha gente se le ocurre una idea sencilla: ¿para qué pagar, si se puede descargar gratis? De este episodio se van a llevar tres cosas. Van a entender de dónde viene la distancia entre los modelos propios y los de frontera. Van a saber cómo pedirle a su agente que pruebe cualquier modelo en sus propias tareas. Y van a conocer las trampas que esperan a quien decida entrenar su propio modelo.
Empecemos por lo que es un modelo propio. Algunas empresas publican los pesos de su modelo en acceso abierto. Los pesos son, en el fondo, la propia red neuronal ya entrenada, un archivo enorme lleno de números. Ustedes lo descargan, lo ejecutan en su computadora con un programa como Ollama, y el modelo les responde sin internet y sin suscripción. La familia más conocida de estos modelos es Qwen, de la empresa china Alibaba. Está Llama, de Meta, está Kimi, está GLM y hay decenas más.
Los modelos abiertos también tienen un lado oscuro, del que muchos ya han oído hablar. Son las llamadas versiones sin censura: se modifican los pesos del modelo para que deje de negarse a responder. En la plataforma Hugging Face hay miles de estas versiones, y también las hay de Qwen. La plataforma retira algunas, pero quedan copias de otros autores. Se dice que hay gente que resuelve ciertas cuestiones con estos modelos y luego lleva el resultado a los modelos de frontera. No encontré descripciones de ese esquema en fuentes abiertas, y no voy a animar a nadie a usarlo: las reglas de Anthropic y de OpenAI prohíben de forma explícita saltarse sus restricciones. Hay quien ejecuta estas versiones, pero también existe el Qwen normal, y de aquí en adelante hablo solo de él y de otros modelos abiertos normales.
Ahora vamos a lo principal. Que un modelo sea abierto significa que sus pesos se pueden descargar. Pero eso no quiere decir, ni de lejos, que se pueda ejecutar en casa. Tomemos Kimi K3, de la empresa china Moonshot, y su versión más reciente, K3.1 Pro. Según las pruebas de la propia Moonshot, está casi a la par de Opus 5.5. Y sus archivos oficiales pesan más de mil quinientos gigabytes, y eso ya comprimidos.
¿Por qué es un problema? Mientras trabaja, el modelo tiene que estar completo en la memoria rápida de la tarjeta gráfica. No en el disco, sino justamente en esa memoria; si no, va a tardar una eternidad en responder. Un modelo se puede comprimir, más o menos como se comprime una foto: el archivo queda más pequeño, pero se pierden los detalles finos. Pues bien, los archivos de Kimi ya están comprimidos, y aun así necesita más de un terabyte y medio de memoria de video. Ninguna tarjeta gráfica doméstica y ninguna computadora Mac tiene, por sí sola, tanta capacidad.
Aquí suele aparecer una objeción: un momento, en Kimi, para cada palabra trabaja solo una pequeña parte del modelo. Es cierto. Está organizado como un equipo de muchos especialistas muy concretos, y en cada paso se activan solo algunos. Pero hay que tener a todo el equipo en memoria al mismo tiempo, porque no se sabe de antemano a quién se va a necesitar para la siguiente palabra.
Ahora, en dinero. El servidor más modesto donde cabe Kimi lleva ocho tarjetas gráficas de servidor de la última generación. Un servidor así se ofrecía por alrededor de medio millón de dólares. Y para que el modelo trabaje con toda la longitud de texto para la que fue diseñado, NVIDIA ofrece un servidor más grande, y con tarjetas de la generación anterior eso cuesta alrededor de un millón y medio. Así que medio millón, o incluso un millón de dólares, es el precio honesto de ponerlo a funcionar como se debe.
Hay entusiastas que para esto arman un clúster de cuatro Mac Studio con la memoria máxima. En total, casi noventa mil dólares. El modelo funciona, pero lento. Con un agente como Claude Code, la conversación con el modelo llega fácilmente a cien mil tokens. Según una medición de principios de septiembre, solo para leer ese volumen un clúster así necesita unos siete minutos. Y eso en cada paso del agente. Es un juguete para una persona paciente, no una herramienta de trabajo.
Y un detalle curioso. En la nube de la propia Moonshot, el mismo modelo cuesta dos dólares por millón de tokens de entrada y diez por millón de tokens de salida. Es más barato que Opus. O sea, que los pesos sean abiertos no les da nada en casa, y en la nube es simplemente otro servicio de pago.
Bien, un modelo grande no se puede ejecutar en casa. Pero hay modelos más pequeños que caben en una MacBook o en una sola tarjeta gráfica para videojuegos. ¿Por qué no usarlos al menos para tareas sencillas? Mi respuesta es esta: en la práctica, hoy no hay mucho de dónde elegir. Incluso una tarea sencilla, si hay que hacerla sin errores, hoy exige un modelo de frontera, aunque sea uno de los más modestos. Algún Sonnet económico o los modelos pequeños de OpenAI, como GPT Terra o GPT Luna. Ni Qwen ni Llama en una laptop van a poder con eso. Y los modelos de frontera pequeños se vuelven más confiables muy rápido. Sobre GPT Terra, que salió a finales de octubre, OpenAI afirma que su proporción de respuestas inventadas bajó del ochenta y ocho al treinta y ocho por ciento. Son palabras de la propia empresa, pero la tendencia dice mucho.
Lo más interesante es entender por qué. Mucha gente cree que toda la diferencia está en la velocidad. Algo así como: mi modelo en la tarjeta gráfica me responde en treinta segundos, pues espero. Pero incluso cuando responde rápido, no se puede comparar con Opus. Hay varias razones, y la más importante es cómo se acumulan los errores de paso en paso.
Fíjense en cómo trabaja un agente. Lee un archivo, entiende lo que hay en él, hace un cambio, lo ejecuta, lee el error, vuelve a corregir. Es una cadena de pasos, y cualquiera de ellos puede salir mal. Supongamos que el modelo acierta en cada paso noventa y cinco veces de cada cien. Suena bastante bien. Pero una tarea de veinte pasos la va a completar sin un solo fallo solo en más o menos un tercio de los casos. Y si el modelo acierta en cada paso noventa y nueve veces de cada cien, los veinte pasos salen bien en ochenta y dos casos de cada cien.
Piénsenlo: una diferencia de cuatro puntos en un solo paso se convierte en una diferencia de más del doble en la tarea completa. En la vida real todo es un poco más suave, pero la idea es correcta. Los investigadores notaron además otra cosa. El modelo trabaja peor cuando en su memoria ya están sus propios errores anteriores. Un error arrastra al siguiente.
Por eso la velocidad no tiene nada que ver aquí. Un modelo rápido simplemente llega antes al fracaso. Si en cada paso es un poco más débil, casi siempre fracasa en una tarea larga. Y el trabajo de un agente en su proyecto consiste justamente en tareas largas.
La segunda razón es la cantidad de conocimiento. Los investigadores calcularon que un modelo puede guardar unos dos bits de conocimiento por cada uno de sus parámetros, es decir, por cada número que tiene dentro. Menos números, menos conocimiento. Y cuando un modelo no sabe algo, no se queda callado, sino que inventa. La propia OpenAI lo escribe en la descripción de sus modelos abiertos. En su prueba de preguntas sobre hechos, el modelo más pequeño, el que cabe en una sola tarjeta gráfica para videojuegos, inventaba la respuesta noventa y una veces de cada cien. El modelo más grande, setenta y ocho. También es mucho, pero la diferencia se nota.
La tercera razón es esa misma compresión. Para que el modelo quepa en la memoria de una laptop, sus números se redondean de forma más burda. Una compresión ligera casi no se nota: la pérdida es de menos del uno por ciento. Una compresión fuerte ya afecta el trabajo: en tareas con textos largos, en un estudio las pérdidas llegaron al cincuenta y nueve por ciento. Y algo importante para nosotros: en idiomas distintos del inglés, la precisión puede caer hasta cinco veces más que en inglés. Si le hablan al modelo en español, la compresión les afecta más.
Y con la compresión más burda, el modelo empieza a dar vueltas en círculo: razonamientos largos llenos de repeticiones, ideas que se cortan a la mitad y ninguna respuesta. Fíjense en lo que se publica ahora como si fuera un modelo grande para una sola tarjeta gráfica. Por ejemplo, una versión recortada de GLM: le quitaron una cuarta parte de los especialistas y además la comprimieron mucho. Los propios autores escriben que esas dos pérdidas se suman. Y no ofrecen una comparación con la versión completa.
La cuarta razón es el trabajo con herramientas. Un agente está llamando cosas todo el tiempo: leer un archivo, ejecutar un comando, buscar en internet. En una de estas pruebas, el Qwen pequeño acertaba en promedio unas sesenta y dos veces de cada cien. Y en las tareas donde las llamadas van una detrás de otra, como en el trabajo real de un agente, solo treinta y cinco. Un paso suelto el modelo pequeño lo hace más o menos bien; una cadena, no.
La quinta razón es muy terrenal, y creo que es la más frecuente. Es la memoria para el texto, que se llama contexto. Es cuánto texto puede tener el modelo en la cabeza al mismo tiempo. En el papel, un modelo puede tener doscientos cincuenta y seis mil tokens o incluso un millón. Pero Ollama, por defecto, ajusta ese tamaño a la tarjeta gráfica. Si hay menos de veinticuatro gigabytes de memoria de video, pone apenas cuatro mil tokens. Y la propia Ollama dice que los agentes y las herramientas de programación necesitan por lo menos sesenta y cuatro mil.
Es decir, en una laptop normal, por defecto, el modelo recuerda dieciséis veces menos de lo que necesita un agente. El agente olvida el principio de su trabajo y empieza a dar vueltas. La gente lo ve y dice: el modelo local es tonto. Pero en realidad simplemente no ve la mitad de la tarea.
Por eso, si de todos modos deciden probar un modelo local, primero quiten esa trampa. Si no, no van a evaluar el modelo, sino una memoria recortada. Díganle a su agente: revisa qué tamaño de contexto tiene el modelo en Ollama, ponlo en por lo menos sesenta y cuatro mil si alcanza la memoria, y calcula cuánta memoria va a ocupar. El contexto también ocupa espacio, y no poco. Y agreguen: elige una versión del modelo con compresión ligera que quepa en mi memoria junto con ese contexto.
Pero hay una sexta razón, la más profunda. Un modelo no aprende a trabajar como agente leyendo libros. Lo entrenan con una enorme cantidad de tareas cuyo resultado se puede verificar, y lo premian cuando la resuelve bien. Esas tareas las preparan personas a mano, y eso sale muy caro. Según estimaciones de investigadores, una sola de esas tareas cuesta entre doscientos y dos mil dólares. Una copia de un servicio de trabajo complejo para entrenar, unos trescientos mil. Y sobre Anthropic, la prensa escribió que discutió gastar en estos entornos de entrenamiento más de mil millones de dólares.
Esa es la mayor riqueza de los laboratorios de frontera, y no se descarga junto con los pesos. Los modelos abiertos se ponen al día, entre otras cosas, copiando. En febrero, Anthropic informó de unas veinticuatro mil cuentas falsas a través de las cuales se extraían respuestas de Claude, y el objetivo era precisamente el trabajo de agente y el código. Pero copiar las respuestas no transfiere la habilidad por completo. Y a un modelo pequeño, todavía menos.
Aquí me pueden decir: pero yo vi tablas donde un modelo abierto está casi al nivel de Opus. Veamos esas tablas. El mismo Kimi, según las mediciones de la propia Moonshot, saca sesenta y cinco punto siete frente a sesenta y seis punto cuatro de Opus 5.5. Casi un empate. Pero en una prueba independiente de matemáticas, Kimi saca cincuenta y cuatro por ciento, y los modelos de frontera, entre ochenta y ochenta y cinco.
Más claro todavía fue lo que pasó con un conocido ranking independiente. A finales de octubre, sus autores hicieron cerradas más de la mitad de las tareas: ya no se pueden ver de antemano ni ajustar el modelo a ellas. Y la distancia entre los mejores modelos abiertos y los cerrados creció de inmediato de tres puntos a doce. Se multiplicó por cuatro en cuanto las tareas dejaron de conocerse de antemano. El nuevo modelo estadounidense Ripple muestra en su anuncio ochenta y medio puntos en una prueba para agentes, y en un resumen independiente tiene unos cincuenta y siete. Ahí se calcula de forma un poco distinta, pero la tendencia es clara. Hay que reconocerles a los autores que ellos mismos escriben que reproducir estos resultados ha sido difícil.
Y hay una observación que, para ser sincero, me sorprendió. Un investigador probó los mismos modelos abiertos en distintos entornos de agente. El entorno es el programa que rodea al modelo, le da herramientas y lo guía por la tarea, por ejemplo Claude Code o Codex. El resultado de un mismo modelo cambiaba decenas de puntos de un entorno a otro. Y distintos modelos dentro del mismo entorno también daban resultados muy diferentes. La conclusión es sencilla: si conectan un modelo abierto a Claude Code, no van a obtener el nivel de Claude. El entorno es bueno, pero la capacidad de resolver tareas está en el propio modelo.
Ahora, con honestidad, el otro lado. Los modelos de frontera tampoco lo pueden todo, ni mucho menos. En las últimas dos semanas salieron tres evaluaciones independientes sobre trabajo real. En la primera tomaron doscientos cuarenta encargos reales de una plataforma de trabajo freelance, y el resultado lo evaluaron expertos de carne y hueso. El mejor fue el nuevo Fable 5.2: completó el cuarenta y uno por ciento de los encargos. Opus 5.5, el veintiuno. Hace un año, el mejor resultado era del dos y medio por ciento. El avance es enorme, pero más de la mitad del trabajo sigue sin hacerse.
En la segunda evaluación, los agentes mejoraban aplicaciones web reales a pedido de los usuarios. El mejor modelo cumplía en promedio alrededor del setenta por ciento de los requisitos. Pero de forma completamente correcta, solo en veintiséis casos de cada cien. Y en la prueba anterior, esos mismos agentes sacaban más del noventa y nueve por ciento. En la tercera, la evaluación más difícil, sobre trabajo profesional, ningún agente pasó del doce por ciento.
¿Qué significa esto para ustedes? Si incluso los mejores modelos fallan en la mayor parte del trabajo real, a un modelo pequeño le va a ir peor. Y algo todavía más importante: no se puede confiar en la tabla de un anuncio. Solo se puede confiar en una prueba con sus propias tareas.
Este es el consejo que considero el más importante del episodio. Antes de cambiar de modelo en cualquier tarea, díganle a su agente: reúne entre treinta y cien ejemplos reales de esta tarea, sacados de mis datos y con las respuestas correctas, pásalos por el modelo actual y por el nuevo, cuenta cuántos quedaron resueltos por completo y muéstrame todos los fallos. Usen una calificación simple: pasa o no pasa, sin escalas del uno al cinco. Anthropic también escribe en su documentación que tener un buen conjunto de pruebas es el paso más importante del proceso. Y OpenAI recomienda invertir en el ajuste fino de un modelo solo después de tener montadas las pruebas.
Ahora hablemos de dinero, porque toda esta historia empieza por las ganas de ahorrar. La suscripción cuesta doscientos dólares al mes. Una Mac Studio con la memoria máxima cuesta más de veintidós mil. Eso es más de nueve años de suscripción, y Kimi igual no cabe ahí. Alquilar una tarjeta gráfica para videojuegos las veinticuatro horas les va a costar entre doscientos cincuenta y seiscientos cincuenta dólares al mes, aproximadamente. Es comparable con la suscripción, y el modelo que corre en esa tarjeta va a estar al nivel de un Qwen pequeño y comprimido.
Y esta es mi opinión. Que una empresa ahorre en una suscripción de doscientos dólares, con la competencia que hay, es absurdo. Su competidor no va a perder el tiempo con Qwen en una laptop. Va a usar Opus 5.5 y se les va a adelantar mientras ustedes configuran la memoria del modelo y buscan por qué el agente da vueltas en círculo.
Hay otro punto en el que poca gente piensa. El precio por token no es el precio de una tarea terminada. La propia Anthropic escribe que, con un nivel de esfuerzo alto, el costo por tarea de Sonnet 5.5 se acerca al de Opus 5.5. Un modelo barato piensa más tiempo, se equivoca más seguido y rehace más. Y al final no sale tan barato como promete la lista de precios.
Y si lo que quieren es algo barato, hay modelos pequeños en la nube que cuestan centavos. Haiku 5.5 y GPT-6 Luna, diez centavos por millón de tokens de entrada. El chino Hy4 Flash, de Tencent, siete centavos. Con volúmenes pequeños, eso es bastante más barato que mantener una tarjeta gráfica alquilada, y no hay que configurar nada.
Además, los precios de los modelos de frontera están bajando. La empresa Vercel, por la que pasan solicitudes a distintos modelos, calculó que en octubre el token promedio le costaba menos de la mitad que en abril. Pero el gasto total sigue creciendo. Su explicación: los modelos mejoran más rápido de lo que se abaratan. Dicho de otro modo, se gasta cada vez más en los modelos de frontera porque cada vez pueden hacer más.
Y sobre las novedades. Se dice que pronto va a salir un nuevo Opus. Nadie lo ha anunciado oficialmente; solo hay conjeturas de los usuarios. El último Opus, la versión cinco punto cinco, salió el veintidós de septiembre. Y el nueve de noviembre Anthropic lanzó Fable 5.2, que es un veinte por ciento más barato que la versión anterior. Los modelos de frontera no se quedan quietos, y ese es un argumento más para no aferrarse a un modelo viejo con tal de ahorrar.
Y ahora, un giro que para mí es importante. Todo lo que dije se refiere al trabajo general de un agente. Pero hay una enorme cantidad de tareas que se pueden dejar en manos de sus propios modelos pequeños. Un modelo, una tarea. Y ajustarlo con entrenamiento para esa tarea. Además, para eso no hace falta ser ingeniero de aprendizaje automático. Todo lo técnico de lo que voy a hablar a continuación lo va a hacer su agente si se lo piden: va a preparar los datos, va a elegir y alquilar la tarjeta gráfica, va a entrenar el modelo y lo va a evaluar. Su parte del trabajo es darle buenos ejemplos y mirar el resultado de la evaluación. Quienes deciden si el modelo es bueno son ustedes, no una tabla ni el agente.
Les cuento mi caso. No puedo contarlo todo, pero ya entrené muchísimos modelos para tareas prácticas de mi negocio. Tenemos proyectos médicos para el mercado estadounidense. Y en muchos puntos ya no usamos modelos de frontera, para ahorrar tokens. Usamos nuestros modelos locales, porque de verdad sale más a cuenta. Estoy a favor de entrenar redes neuronales sencillas para tareas sencillas.
Esto tiene un mecanismo claro. Un modelo grande sabe un poco de todo. Pero las respuestas correctas para su tarea específica están en sus datos, no en internet, y el modelo grande simplemente nunca las vio. Un buen ejemplo es el fondo de inversión Bridgewater. Junto con el laboratorio Thinking Machines, ajustaron el modelo abierto Qwen con sus datos privados para seis tareas financieras. Por ejemplo, si un artículo es importante para un inversionista o si un documento de un banco central insinúa un cambio en las tasas de interés. El modelo ajustado logró casi un ochenta y cinco por ciento de precisión, frente a setenta y ocho del mejor modelo de frontera. Y costó casi catorce veces menos.
Una aclaración honesta: el modelo de Bridgewater era muy grande, no para una laptop. Pero también hay un estudio con modelos pequeños. Sus autores ajustaron trescientos diez modelos en treinta y una tareas. Los modelos pequeños, después del ajuste, superaron en promedio por diez puntos al GPT-4 de aquel momento. Pero GPT-4 aun así ganó en seis de las treinta y una tareas, y en su mayoría eran tareas amplias, como escribir código. Un modelo estrecho y entrenado gana en su terreno estrecho, y el trabajo amplio sigue siendo de los grandes.
Lo mismo se ve en el mercado. La misma Vercel calculó sus estadísticas de octubre. Los modelos abiertos generan en su plataforma el setenta y uno y medio por ciento de todos los tokens, pero solo el veintitrés por ciento del dinero. Las empresas ya les dejan a los modelos abiertos el trabajo masivo y barato, y pagan sobre todo por el trabajo complejo de los de frontera.
Cómo funciona esto. No se vuelve a entrenar todo el modelo desde cero. Se le agrega un pequeño complemento y solo ese complemento se entrena con sus ejemplos, mientras el modelo principal queda como estaba. Por eso el complemento para un modelo pequeño se puede entrenar en una tarjeta gráfica normal para videojuegos. No hacen falta millones de ejemplos. Para empezar, alcanza con entre cincuenta y cien buenos ejemplos, y para un resultado confiable es mejor tener más de mil. Mucha gente ya tiene esa cantidad guardada en su historial de solicitudes, correos o documentos.
Sobre el hardware, lo digo así: para estas tareas basta con alquilar una tarjeta gráfica por unos doscientos dólares al mes o con tener una propia que cueste un par de miles. Y los precios lo confirman. Una tarjeta gráfica para videojuegos cuesta en alquiler menos de un dólar por hora. Si no la usan las veinticuatro horas, sino por horas, doscientos dólares al mes es el orden de magnitud correcto. Y la nueva tarjeta gráfica de gama alta para videojuegos tenía un precio oficial de unos dos mil dólares.
Y otra cosa práctica. En un mismo servidor se pueden tener varios modelos pequeños e ir cambiando entre ellos. Cuando se necesita uno, se carga en memoria y otro se descarga. Es una función estándar. Ollama, por ejemplo, descarga el modelo por sí sola cinco minutos después de la última solicitud. El agente puede configurar el servidor para que el modelo necesario se active solo en cuanto le llega una solicitud.
¿Qué trabajo conviene darle a un modelo pequeño? Aquí Anthropic tiene una experiencia honesta. Probaron un esquema en el que el modelo principal reparte subtareas entre ayudantes baratos. Eso ahorra dinero, pero la proporción de soluciones exitosas baja un poco. Y cuando la tarea es una sola cadena conectada, un solo modelo fuerte resultó más conveniente en todas las mediciones. Meta describe un esquema parecido para sus nuevos modelos: el modelo grande planifica y el pequeño se encarga del volumen.
La regla que sale de aquí es sencilla. A un modelo pequeño se le dan tareas independientes y repetitivas, todas del mismo tipo: revisar correos, clasificar solicitudes por categorías, extraer campos de documentos. También hay un buen ejemplo para quienes manejan datos personales de otras personas. Un modelo local, en su propia máquina, reemplaza en el texto los nombres, los teléfonos y otros datos personales por etiquetas. A la nube se envía el texto ya limpio. Llega la respuesta, y las etiquetas se vuelven a cambiar por los datos reales. Es una tarea específica, y un modelo pequeño puede con ella. Pero una tarea larga y conectada, como mejorar su aplicación, es mejor dejársela a un modelo fuerte.
Pídanle al agente algo así: busca en mi proyecto los pasos repetitivos del mismo tipo, estima para cada uno el volumen mensual y el costo con el modelo actual, y propón qué se le puede pasar a un modelo barato y cómo revisar sus respuestas. Y después, la prueba con sus propios ejemplos, como les dije.
Pero antes de decirle al agente «hazme mi propio modelo», hay tres trampas que poca gente conoce.
La primera trampa es de dónde sacar los datos. La idea más obvia es pedirle a Claude o a ChatGPT que prepare los ejemplos y entrenar con ellos su propio modelo pequeño. Pues eso viola sus reglas. Anthropic prohíbe usar las respuestas de Claude para entrenar modelos sin su permiso. OpenAI prohíbe usar sus respuestas para modelos que compitan con ella. Y dentro de tres días, el veinte de noviembre, entra en vigor en OpenAI una regla todavía más estricta. No se pueden usar sus modelos para preparar datos de entrenamiento ni tareas de práctica para modelos que vayan a reemplazarla. Aunque ustedes no entrenen el modelo y solo preparen los datos.
Si aquí hay excepciones para herramientas internas, las reglas no lo dejan claro; eso es una pregunta para un abogado. El camino más seguro son sus propios datos reales con respuestas verificadas. Por eso, pídanle al agente así: arma un conjunto de entrenamiento con mis datos anteriores y sus respuestas verificadas, aparta una quinta parte para la prueba, elige y alquila una tarjeta gráfica adecuada, entrena el complemento y compara el nuevo modelo con el actual en la parte apartada. La parte apartada sirve para que el modelo se evalúe con ejemplos que nunca vio.
La segunda trampa son los datos personales de otras personas. Mucha gente piensa: si el modelo es mío, los datos no salen a ningún lado. No exactamente. Si el modelo corre en una tarjeta gráfica alquilada, el dueño de esa tarjeta también es un intermediario. Para los datos médicos en Estados Unidos esto está escrito de forma explícita: el proveedor de nube que guarda o procesa esos datos responde por ellos ante la ley, aunque los datos estén cifrados. Con él se necesita un contrato especial de protección de datos médicos. Anthropic y OpenAI firman ese contrato para su acceso de pago para programadores, pero las suscripciones normales con ventana de chat no sirven para esto. Así que un modelo propio es una cuestión de cuántos intermediarios tienen, no un pase mágico.
La tercera trampa es la seguridad. Un modelo ajeno en su servidor es una caja negra dentro de su sistema. A finales de octubre, la empresa Cohere probó un modelo abierto de Qwen en el papel de agente. En casos raros, el modelo intentaba por su cuenta enviar un archivo a un almacenamiento en la nube de Alibaba en Pekín. Y eso mientras en sus razonamientos escribía que no iba a llamar nada. Y cuando lo empujaban a completar un comando, en una cuarta parte de los casos, o incluso en un tercio, intentaba llegar a las claves de acceso del servidor. Dicho de forma sencilla, a sus contraseñas.
Cohere recomienda tratar un modelo ajeno como un programa no verificado y, por defecto, no dejarlo salir a la red. En sus palabras, el razonamiento de un modelo no es una barrera de seguridad. Hubo otra historia: en abril se encontró una falla por la cual un archivo de modelo descargado podía ejecutar en el servidor un programa ajeno, y esos archivos pasaban las revisiones estándar de la plataforma. Por eso, si van a ejecutar su propio modelo para el agente, díganle: ejecútalo en un contenedor aislado sin salida a internet, permite solo las direcciones necesarias y registra cada llamada a una herramienta.
Ahora, sobre el futuro. Creo que el futuro es de los modelos locales. Lo más probable es que dentro de unos dos años cualquiera pueda ejecutar en su propia máquina un modelo que haga programación con agentes al nivel de Opus 5.5. Yo mismo todavía no uso modelos locales para eso, pero creo que todos vamos a llegar ahí.
Los datos no contradicen este pronóstico. Ya el año pasado, unos investigadores calcularon que los modelos que caben en una sola tarjeta gráfica de gama alta para videojuegos alcanzan el nivel de frontera en las pruebas en unos seis meses a un año. En el trabajo real, el retraso probablemente es mayor. Pero hay un matiz: en ese tiempo, los modelos de frontera también se alejan. Según una estimación, cada tres o cuatro meses pueden llevar hasta el final una tarea el doble de larga que antes. Así que el modelo local alcanza el nivel del año pasado, no el de hoy.
Y cuánto tiempo más van a seguir corriendo los de frontera depende del dinero de los grandes laboratorios. Y aquí importa el techo del entrenamiento. Las empresas de frontera están obligadas a una carrera que se parece a una pirámide: recuperan la inversión de cada nuevo modelo, y ese dinero se va de inmediato a entrenar el siguiente, todavía más caro. Esa lógica la describió el propio director de Anthropic, Dario Amodei, con cifras hipotéticas. Supongamos que un modelo se entrenó por cien millones de dólares y, al año siguiente, generó doscientos millones en ingresos. Ese modelo, por sí solo, es rentable. Pero la empresa en su conjunto está siempre en números rojos, porque ya está entrenando el siguiente modelo, mucho más caro. Según su ejemplo hipotético, las pérdidas crecen así: cien millones el primer año, ochocientos el segundo y ocho mil millones el tercero.
Si esa pirámide se derrumba, las empresas van a quedar con pérdidas enormes. Tal vez ahí esté la burbuja. Incluso Sam Altman, de OpenAI, dijo en septiembre que ve los primeros indicios de lo que a él le parece una tontería insostenible.
Pero creo que lo más probable es que no se derrumbe. La carrera se sostiene mientras haya una meta por delante, y para llegar a una inteligencia artificial general, por lo visto, todavía faltan varios años. Es cierto que Altman dijo en agosto que espera un sistema así para finales de este año. Pero hasta ahora no ha anunciado nada, y él mismo reconoce que es muy difícil trazar una línea divisoria clara. Así que lo más probable es que la carrera continúe. Los modelos de frontera van a seguir adelantándose, y los abiertos van a seguir alcanzándolos.
Juntemos todo. Para el trabajo principal de un agente, para el código y para tareas largas donde un error sale caro, hoy hace falta un modelo de frontera, y la debilidad de los modelos pequeños no está en la velocidad, sino en cómo se acumulan sus errores de paso en paso. Un modelo pequeño propio se paga solo en una tarea específica y repetitiva, si lo entrenan con sus propios datos, lo mantienen aislado y lo evalúan con sus propios ejemplos. Y cualquier elección de modelo, propio o ajeno, no la decide la tabla de un anuncio, sino su propia prueba con entre treinta y cien casos reales. Así que a la pregunta del inicio del episodio mi respuesta es esta: no dejen la suscripción, y tengan sus propios modelos pequeños al lado, para tareas específicas. Justamente ahí ya hoy ahorran dinero, y dentro de un par de años, creo, van a poder hacer mucho más.
Eso es todo por hoy. Estuvo con ustedes Evgenii Arsentev, creador de Arsminal, una terminal para dirigir agentes de IA: todo tu equipo de agentes trabaja en una sola ventana, como chats en un mensajero. Fundador de ArsentevAI, Dad4Kids y ReelsZavod. Prueba Arsminal gratis en arsminal.com. Gracias por escuchar.