La mayoría de los productos modernos de IA están construidos sobre el mismo conjunto reducido de ideas fundamentales. Si entendés estas ideas, vas a empezar a reconocerlas en todos lados —desde modelos de lenguaje grandes hasta sistemas de generación de imágenes y video.
Este post está escrito como un resumen conceptual para quienes buscan un modelo mental compacto de cómo se ensamblan los sistemas de IA actuales.
1. Tokenización
Las redes neuronales como los modelos de lenguaje grandes (LLMs) no pueden trabajar directamente con texto en bruto. En su lugar, el texto primero se descompone en unidades más pequeñas llamadas tokens.
Un tokenizador:
- Divide el texto en partes (tokens)
- Mapea cada token a un ID entero
- Produce una secuencia de enteros que el modelo puede procesar
Texto en Bruto
|
v
+------------------+
| Tokenizador |
+------------------+
|
v
["walk", "ing"] → Tokens
|
v
[ 5231, 987 ] → IDs de tokens
Uno de los algoritmos de tokenización más comunes es Byte Pair Encoding (BPE).
Cómo funciona BPE
- Empieza con unidades muy pequeñas (generalmente bytes o caracteres)
- Repite la fusión de los pares adyacentes más frecuentes
- Con el tiempo, fragmentos comunes como ing o tion se convierten en tokens individuales
Por ejemplo, la palabra walking podría dividirse como:
walk + ing
Este enfoque equilibra tamaño del vocabulario, capacidad de generalización y eficiencia.
Intuición de producto
- Los modelos no “ven palabras”, ven fragmentos de palabras.
- El precio, la latencia y los límites de contexto se basan en tokens, no en caracteres ni oraciones.
Por qué esto importa
- Prompts largos y salidas verbosas aumentan el costo.
- Texto mal estructurado (logs, JSON, markup) puede consumir tokens más rápido de lo esperado.
-
Distintos idiomas se tokenizan de formas muy diferentes, lo que puede impactar productos multilingües.
-
Decodificación de Texto
Un LLM no produce texto directamente.
Tokens Previos
["The", "cat", "is"]
|
v
+------------------------+
| LLM |
+------------------------+
|
v
Distribución de Probabilidad
{ "sleeping": 0.42,
"running": 0.21,
"hungry": 0.10,
... }
|
v
Estrategia de Decodificación
(Greedy / Top-p / Temp)
|
v
Siguiente Token → "sleeping"
En cada paso, produce una distribución de probabilidad sobre el vocabulario para el próximo token.
Un algoritmo de decodificación:
Elige un token de esa distribución
Lo agrega a la secuencia
Repite hasta producir una respuesta completa
Estrategias de decodificación comunes
Decodificación greedy
Siempre selecciona el token más probable
Útil para tareas determinísticas
Produce salidas planas o repetitivas en tareas creativas
Decodificación basada en muestreo
Introduce aleatoriedad controlada
Mejora la diversidad y expresividad
Un método muy usado es el muestreo top-p (nucleus):
Selecciona el conjunto mínimo de tokens cuya probabilidad acumulada suma p
Muestrea el próximo token dentro de ese conjunto
La decodificación es una decisión de diseño crítica que moldea directamente el comportamiento del modelo.
Intuición de producto
La decodificación no se trata de precisión, sino de personalidad.
Baja temperatura / greedy → cauteloso, repetitivo, seguro.
Mayor temperatura / muestreo → creativo, diverso, pero menos predecible.
Por qué esto importa
Los bots de soporte al cliente suelen querer respuestas aburridas y correctas.
Herramientas de brainstorming o marketing buscan respuestas diversas y sorprendentes.
- Prompt Engineering
Los prompts vagos suelen producir respuestas vagas.
Prompt engineering es la práctica de dar forma a las instrucciones y al contexto para guiar el comportamiento de un modelo sin modificar sus pesos.
+----------------------+ | Prompt | |----------------------| | Instrucciones | | Restricciones | | Ejemplos (opcional) | +----------------------+ | v +----------------------+ | LLM | +----------------------+ | v Salida Estructurada / Dirigida
Un buen prompt:
Define claramente la tarea
Establece restricciones
Especifica el formato esperado de salida
Técnicas comunes
Few-shot prompting
Proporciona un pequeño número de ejemplos
El modelo imita el estilo y la estructura demostrados
Chain-of-thought prompting
Le pide al modelo que razone paso a paso
Mejora el desempeño en tareas de múltiples pasos como matemática y programación
El prompt engineering es popular porque es rápido, barato y altamente iterativo comparado con entrenar o ajustar finamente un modelo.
Intuición de producto
El prompting es diseño de producto.
Para muchos productos de IA, el prompt es la lógica de negocio.
Codifica:
Reglas
Voz de marca
Restricciones de seguridad
Estructura de salida
Por eso, los cambios en prompts suelen tener un impacto desproporcionado frente a cambios en el modelo. Los prompts son activos versionables.
- Agentes de IA Multi-Paso
Un LLM por sí solo solo puede generar texto. No puede:
Navegar la web
Llamar APIs
Ejecutar código
Interactuar con sistemas externos
Los agentes multi-paso envuelven a un LLM en un loop de control con acceso a:
Herramientas
Memoria
Entornos externos
+----------------+
| Objetivo |
+----------------+
|
v
+----------------+
| LLM |
| (Planner) |
+----------------+
|
+--------+--------+
| |
v v
Llamar Tool Generar Texto | v +--------------------+ | Sistema Externo | | (API / Código / BD)| +--------------------+ | v Observación | +-----> vuelve al LLM
El agente:
Planifica un paso
Llama una herramienta
Observa el resultado
Decide qué hacer a continuación
Este loop continúa hasta que el agente alcanza el objetivo, agota su presupuesto o determina que no puede avanzar más.
Intuición de producto
Los agentes intercambian previsibilidad por capacidad.
Más autonomía → más cosas pueden salir mal.
El acceso a herramientas introduce consideraciones de seguridad y costo.
Depurar fallas suele requerir reproducir los pasos de razonamiento del agente.
Los agentes funcionan mejor en flujos acotados, no en autonomía abierta.
Condiciones de parada claras y presupuestos bien definidos son clave.
- Generación Aumentada por Recuperación (RAG)
Un LLM “puro” responde usando solo lo que está almacenado en sus pesos. Esto lo hace propenso a:
Alucinaciones
Conocimiento desactualizado
Falta de datos privados o propietarios
La Generación Aumentada por Recuperación (RAG) combina un LLM con un sistema de recuperación respaldado por una base de conocimiento externa.
Cómo funciona RAG
Un recuperador obtiene fragmentos relevantes de documentos, PDFs o bases de datos
El LLM usa esos fragmentos como contexto para generar una respuesta
Consulta del Usuario | v +----------------+ | Recuperador | +----------------+ | v Fragmentos Relevantes [Doc A, Doc C] | v +----------------+ | LLM | | (Consulta + Docs) | +----------------+ | v Respuesta Fundamentada
RAG ancla las salidas del modelo en evidencia externa verificable, haciendo que los sistemas sean más confiables y auditables.
Intuición de producto
RAG es la forma en que las organizaciones:
Mantienen datos propietarios en privado.
Actualizan conocimiento sin reentrenar modelos.
Proveen trazabilidad (“esta respuesta salió de estos documentos”).
Muchas fallas de RAG parecen errores de razonamiento, pero en realidad son fallas de recuperación.
- Aprendizaje por Refuerzo con Feedback Humano (RLHF)
El éxito de ChatGPT fue impulsado en gran parte por el Aprendizaje por Refuerzo a partir de Feedback Humano (RLHF).
RLHF funciona de la siguiente manera:
Prompt | v +----------------+ | LLM Base | +----------------+ | v Múltiples Respuestas (A, B, C) | v +----------------+ | Modelo de Recompensa | | (Preferencias humanas) | +----------------+ | v Puntajes (A: 0.9, B: 0.4) | v Actualización de Política (Mayor recompensa ↑)
El modelo genera múltiples respuestas candidatas
Un modelo de recompensa separado las puntúa
El algoritmo de entrenamiento actualiza los pesos del modelo
Los comportamientos con mayor puntaje se vuelven más probables
Por qué importa RLHF
El modelo de recompensa se entrena con datos de preferencias humanas, generalmente pares de respuestas donde los anotadores eligen la mejor.
Esto empuja a los modelos hacia salidas que los humanos califican consistentemente como:
Más útiles
Más claras
Más seguras
No simplemente más probables desde el punto de vista estadístico.
Intuición de producto
RLHF es la razón por la cual los modelos:
Rechazan ciertas solicitudes.
Se explican a sí mismos.
Piden disculpas o responden con cautela.
Estos comportamientos son preferencias aprendidas, no reglas hardcodeadas.
- Autoencoders Variacionales (VAEs)
Un Autoencoder Variacional (VAE) es un modelo generativo que aprende una distribución de probabilidad sobre los datos.
Un VAE consiste en:
Datos de Entrada | v +-----------+ | Encoder | +-----------+ | v Espacio Latente (z) (media, varianza) | v +-----------+ | Decoder | +-----------+ | v Datos Reconstruidos / Generados
Un encoder que mapea entradas a un espacio latente de baja dimensión
Un decoder que reconstruye datos a partir de vectores latentes
Entrenamiento y generación
El entrenamiento optimiza un objetivo de reconstrucción
Se pueden generar nuevos datos muestreando del espacio latente
En sistemas modernos de texto a imagen y texto a video (por ejemplo, OpenAI Sora), los VAEs suelen usarse como compresores latentes, permitiendo que los modelos posteriores operen de forma eficiente en espacios más pequeños y estructurados.
Intuición de producto
Un VAE aprende un lenguaje comprimido para imágenes o videos. En lugar de trabajar con píxeles, los modelos posteriores trabajan con conceptos.
- Modelos de Difusión
Los modelos de difusión generan datos aprendiendo a revertir un proceso gradual de agregado de ruido.
Entrenamiento Imagen Real | v x₀ → x₁ → x₂ → ... → xₜ (agregar ruido)
Se empieza con muestras reales (como imágenes)
Se agrega ruido durante muchos pasos temporales
Se entrena un modelo para predecir el ruido dado:
La entrada ruidosa
El paso temporal
Condicionamiento opcional (por ejemplo, texto)
Inferencia Ruido Puro | v xₜ → xₜ₋₁ → xₜ₋₂ → ... → x₀ (remover ruido) | v Imagen / Video Generado
Se empieza desde ruido puro
Se aplica iterativamente el proceso aprendido de des-ruido
Se converge hacia una muestra limpia
Los modelos de difusión impulsan muchos de los sistemas de generación de imágenes y video más avanzados del estado del arte.
Intuición de producto
Los modelos de difusión son como escultores:
Empiezan con un bloque de ruido.
Eliminan gradualmente la aleatoriedad.
Moldean el resultado paso a paso.
- Adaptación de Bajo Rango (LoRA)
Los modelos grandes son de propósito general, pero suelen rendir mal en dominios especializados.
La Adaptación de Bajo Rango (LoRA) es una técnica eficiente de fine-tuning que adapta un modelo preentrenado sin actualizar todos sus parámetros.
Cómo funciona LoRA Pesos Base Congelados (W) | +----------------------+ | | v v Bajo Rango A Bajo Rango B (entrenable) (entrenable) \ / \ / +---- Delta Agregado ----+ | v Comportamiento Adaptado
Los pesos base del modelo permanecen congelados
Se inyectan pequeñas matrices entrenables de bajo rango en capas específicas
El comportamiento específico del dominio se aprende con muchos menos parámetros
LoRA permite especialización rápida, barata y escalable.
Intuición de producto
LoRA permite:
Experimentos más rápidos.
Menor costo de infraestructura.
Múltiples versiones especializadas de un mismo modelo base.
Por eso los equipos pueden lanzar funcionalidades de IA específicas por dominio sin entrenar desde cero.
Cómo encajan estos conceptos en productos reales
La mayoría de los sistemas de IA en producción son compuestos, no modelos individuales:
Prompting + decodificación moldean el comportamiento.
RAG aporta conocimiento confiable.
Los agentes orquestan herramientas.
LoRA personaliza el comportamiento por dominio.
Entender estos bloques ayuda a los equipos de producto a:
Hacer mejores preguntas.
Diagnosticar fallas más rápido.
Tomar decisiones informadas entre costo, calidad y velocidad.
Reflexiones Finales
Estos conceptos forman la columna vertebral de la mayoría de los sistemas modernos de IA. Son los bloques recurrentes detrás de los modelos de IA más capaces de hoy - y muy probablemente de los del futuro.