Observabilidad de agentes IA en producción: LangSmith vs Langfuse vs Honeycomb vs OpenTelemetry

Producto de la empresa LangChain. Tracing detallado con visualización de árbol de spans, eval suite integrado, datasets, deployment hooks. Excelente si tu stack es LangChain/LangGraph.

Fortalezas

• Integración nativa con LangChain (1 línea de configuración).
• UI clara para debugging de árboles de ejecución.
• Eval suite y prompt management integrados.
• Comparación A/B entre versiones de prompts.

Debilidades

• Closed source.
• Pricing por tracking units puede escalar.
• Mejor con LangChain; menos pulido con Vercel AI SDK puro.

Costo referencial: Plus desde USD 39/seat/mes + USD 0.50 por 1k trazas. Para PyME con uso moderado: USD 100-300/mes (CLP 95-285K).

Honeycomb es plataforma de observabilidad general. En mayo 2026 lanzó Agent Observability con foco específico en flows agénticos multi-trace. Buena opción cuando la empresa ya usa Honeycomb para el resto del stack.

Fortalezas

• Observabilidad unificada de toda la infraestructura (no solo LLM).
• Consultas potentes con BubbleUp.
• Soporte OpenTelemetry nativo.
• SLAs enterprise serios.

Debilidades

• UX general; requiere configurar dashboards para LLM specifically.
• Pricing por evento/seat más caro que Langfuse o LangSmith para volumen alto.
• Curva de aprendizaje mayor.

Costo referencial: Pro desde USD 130/seat/mes con buckets de eventos. Buen valor para empresa que ya lo usa; caro como solución específica LLM.

import { generateText, tool } from 'ai';
import { anthropic } from '@ai-sdk/anthropic';
import { Langfuse, observeOpenAI } from 'langfuse';
import { z } from 'zod';

const lf = new Langfuse({
  publicKey: process.env.LANGFUSE_PUBLIC_KEY!,
  secretKey: process.env.LANGFUSE_SECRET_KEY!,
});

export async function ejecutarAgente(input: string, userId: string) {
  const trace = lf.trace({ name: 'agente-whatsapp', userId, input: { input } });

  try {
    const { text, toolCalls, usage } = await generateText({
      model: anthropic('claude-sonnet-4-6'),
      prompt: input,
      tools: { /* ... */ },
      maxSteps: 5,
      experimental_telemetry: {
        isEnabled: true,
        functionId: 'agente-whatsapp',
        metadata: { userId, langfuseTraceId: trace.id },
      },
    });

    trace.update({ output: { text, toolCalls, usage } });
    return text;
  } catch (err) {
    trace.update({ output: { error: String(err) }, level: 'ERROR' });
    throw err;
  } finally {
    await lf.flushAsync();
  }
}

Vercel AI SDK soporta telemetry experimental que se conecta naturalmente a Langfuse. Para LangSmith el patrón es similar con su SDK.

• PyME que arranca: Langfuse cloud free tier. Migrar a Pro o self-hosted cuando crezca.
• Empresa mediana en LangChain: LangSmith.
• Empresa con Honeycomb ya en producción: extender Honeycomb a LLM.
• Equipo TI fuerte con OTel maduro: directo OTel + backend a elección.