El Costo Oculto de los Pipelines de Embeddings

Todo agente de conocimiento empieza igual: eliges una base de datos vectorial, construyes un pipeline de chunking, seleccionas un modelo de embedding y ajustas parámetros de recuperación. Semanas después, tu agente responde una pregunta incorrectamente y no tienes idea de por qué. El modo de fallo es silencioso.

Observamos este patrón repetidamente, tanto internamente como en equipos construyendo agentes en Vercel. El stack de embeddings funciona para similitud semántica, pero se queda corto cuando necesitas un valor específico de datos estructurados. Terminas depurando un pipeline, no una pregunta.

Por eso tomamos un enfoque diferente: reemplazar el pipeline vectorial por un sistema de archivos y darle bash al agente. Nuestro agente de resumen de llamadas de ventas pasó de ~$1.00 a ~$0.25 por llamada, y la calidad de salida mejoró. El agente estaba haciendo lo que ya sabía hacer: leer archivos, ejecutar grep y navegar directorios.

Publicamos el resultado como el Knowledge Agent Template, una arquitectura lista para producción construida sobre Vercel Sandbox, AI SDK y Chat SDK.

Developer using AI agent with filesystem search interface on terminal Technical Structure Concept

Cómo Funciona la Búsqueda por Sistema de Archivos

Sin base de datos vectorial. Sin pipeline de chunking. Sin modelo de embedding. Tu agente usa grep, find y cat dentro de Sandboxes Vercel aisladas.

El Flujo

  1. Añades fuentes a través de la interfaz de administración, almacenadas en Postgres.
  2. El contenido se sincroniza con un repositorio de snapshots mediante Vercel Workflow.
  3. Cuando el agente necesita buscar, una Sandbox Vercel carga el snapshot.
  4. Las herramientas bash y bash_batch del agente ejecutan comandos en el sistema de archivos.
  5. El agente devuelve una respuesta con referencias opcionales.

Los resultados son determinísticos, explicables y rápidos. Cuando el agente da una respuesta incorrecta, abres el trace y ves: ejecutó grep -r "precio" docs/, leyó docs/planes/enterprise.md y extrajo la sección equivocada. Corriges el archivo o ajustas la estrategia. El bucle de depuración toma minutos.

Compara con vectores: si el agente devuelve un chunk malo, tienes que determinar qué chunk recuperó y luego averiguar por qué obtuvo 0.82 y el correcto 0.79. El problema podría ser los límites del chunk, el modelo de embedding o el umbral de similitud. Con la búsqueda por sistema de archivos, no hay adivinanzas.

Los LLMs ya entienden sistemas de archivos. Han sido entrenados con enormes cantidades de código: navegar directorios, hacer grep en archivos, gestionar estado en bases de código complejas. Si los agentes son excelentes en operaciones de sistema de archivos para código, lo son para cualquier cosa.

Ejemplo: Usando el SDK

// Importa las herramientas y conéctate a tu base de conocimiento
import { generateText } from 'ai';
import { createSavoir } from '@savoir/sdk';

const savoir = createSavoir({
  apiUrl: process.env.SAVOIR_API_URL!,
  apiKey: process.env.SAVOIR_API_KEY,
});

const { text } = await generateText({
  model: yourModel, // cualquier modelo compatible con AI SDK
  tools: savoir.tools, // herramientas bash y bash_batch
  maxSteps: 10,
  prompt: '¿Cómo configuro la autenticación?',
});

console.log(text);

Vercel Sandbox architecture diagram showing filesystem and bash tools for agent search Programming Illustration

Despliegue Multiplataforma con Chat SDK

Tu agente tiene una base de conocimiento, un código base y una única fuente de verdad. Sin embargo, tus ingenieros están repartidos por Slack, tu comunidad por Discord, tus reportes de bugs enterrados en GitHub. Chat SDK conecta tu agente a todas las plataformas.

Un Solo Agente, En Todas Partes

import { Chat } from "chat";
import { createSlackAdapter } from "@chat-adapter/slack";
import { createDiscordAdapter } from "@chat-adapter/discord";
import { createRedisState } from "@chat-adapter/state-redis";

const bot = new Chat({
  userName: "knowledge-agent",
  adapters: {
    slack: createSlackAdapter(),
    discord: createDiscordAdapter(),
  },
  state: createRedisState(),
});

bot.onNewMention(async (thread, message) => {
  await thread.subscribe();
  const result = await agent.stream({ prompt: message.text });
  await thread.post(result);
});

Cada adaptador maneja aspectos específicos de la plataforma (autenticación, formatos de eventos, mensajería) mientras el agente permanece sin cambios. onNewMention se dispara cada vez que se menciona al bot, sin importar la plataforma.

Herramientas de Administración Integradas

La plantilla incluye una interfaz de administración completa: estadísticas de uso, logs de errores, gestión de usuarios, configuración de fuentes y controles de sincronización de contenido. También hay un agente administrativo con IA al que puedes preguntar cosas como "¿qué errores ocurrieron en las últimas 24 horas?" o "¿cuáles son las preguntas comunes de los usuarios?". Usa herramientas internas (query_stats, query_errors, run_sql, chart) para proporcionar respuestas directamente. Depuras tu agente con un agente.

Limitaciones y Precauciones

  • No es ideal para búsqueda semántica no estructurada: Si tu caso de uso requiere encontrar contenido por significado en lugar de palabras clave exactas (ej.: "encuentra documentos similares a este"), un enfoque vectorial aún puede ser necesario.
  • El tamaño del snapshot importa: Bases de código o repositorios de documentos muy grandes pueden requerir una gestión cuidadosa de snapshots para mantener el rendimiento de la sandbox.
  • Dependencia de bash: El enfoque asume que el agente puede ejecutar comandos bash de forma segura. Aunque las Sandboxes Vercel proporcionan un fuerte aislamiento, debes auditar los comandos que usa tu agente.

Próximos Pasos

En resumen: No necesitas una base de datos vectorial para construir un agente de conocimiento funcional. Necesitas un sistema de archivos, bash y una forma de poner tu agente donde tus usuarios ya están. Esos son los primitivos.

Multi-platform chat agent deployed on Slack, Discord, and GitHub with unified knowledge base System Abstract Visual

Conclusión

El enfoque de sistema de archivos y bash para agentes de conocimiento es un cambio de paradigma. Es más simple, más barato y más depurable que el pipeline tradicional de embeddings. Al aprovechar lo que los LLMs ya hacen bien—navegar directorios y procesar texto—puedes construir agentes que son a la vez más confiables y más mantenibles.

Conclusiones clave:

  • Búsqueda determinística elimina el problema de la "caja negra" de la similitud vectorial.
  • Reducción de costo de hasta un 75% por consulta (de $1.00 a $0.25 en nuestro caso).
  • Base de conocimiento única desplegada en Slack, Discord, GitHub y más.
  • Herramientas de administración integradas y agente de depuración con IA.

Lectura adicional: Para más sobre cómo la IA está evolucionando los paradigmas de búsqueda, consulta nuestro artículo relacionado sobre búsqueda por lenguaje natural de Netflix.

Este contenido fue redactado con la asistencia de herramientas de IA, basándose en fuentes confiables, y fue revisado por nuestro equipo editorial antes de su publicación. No reemplaza el asesoramiento de un profesional especializado.