AI Gateway para empresas: cómo unificar múltiples LLMs en producción con un solo punto de control

Un proxy LLM es una capa de middleware básica que se ubica entre la aplicación y el proveedor de modelos. Redirige solicitudes, puede almacenar respuestas en caché y registra tráfico de forma elemental. Es el punto de entrada correcto para un prototipo o para un equipo pequeño que opera con un solo proveedor.

Un AI gateway opera en otra categoría. Funciona como plano de control centralizado para todo el tráfico hacia modelos de lenguaje de una organización. Agrega control de acceso por equipo o proyecto, guardrails de contenido, límites de presupuesto por clave virtual, enrutamiento condicional entre proveedores, fallbacks automáticos ante errores o latencia alta y registros de auditoría completos. La distinción es relevante al momento de elegir herramienta: instalar un proxy cuando se necesita un gateway es el error más común que vemos en empresas que ya llevan seis meses operando modelos en producción.

Las cuatro opciones más usadas en equipos técnicos latinoamericanos tienen perfiles distintos. La elección correcta depende del control que necesitas, tu capacidad de operación y si priorizas velocidad de adopción o profundidad de gobernanza.

LiteLLM: control total con autohospedaje

LiteLLM es el proxy de código abierto más desplegado en equipos con capacidad DevOps propia. Expone un endpoint compatible con la API de OpenAI y normaliza llamadas a más de 100 proveedores detrás de ese único punto. Su licencia MIT permite instalarlo en tu propia infraestructura sin costo de licencia, lo que lo hace atractivo para empresas con requerimientos de privacidad o que ya operan Kubernetes. Incluye seguimiento de presupuesto por clave virtual, fallbacks configurables, balanceo de carga entre instancias del mismo modelo y un dashboard administrativo. La contrapartida es el costo de operación: alguien en el equipo debe instalar, actualizar y monitorear el servidor.

# litellm_config.yaml — ejemplo basico multi-proveedor
model_list:
  - model_name: claude-razonamiento
    litellm_params:
      model: anthropic/claude-3-7-sonnet-20250219
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: gpt-vision
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: gemini-contexto
    litellm_params:
      model: gemini/gemini-2.5-pro
      api_key: os.environ/GEMINI_API_KEY
router_settings:
  fallbacks:
    - claude-razonamiento: [gpt-vision]
  num_retries: 3
  allowed_fails: 1

Portkey: gobernanza empresarial lista para producción

Portkey se posiciona explícitamente en el segmento de empresas con requisitos de cumplimiento. Enruta a más de 1.600 modelos, incluye guardrails de contenido integrados y mantiene certificaciones SOC2 Tipo II, ISO 27001, GDPR e HIPAA en su plan Enterprise. En abril de 2026 fue adquirido por Palo Alto Networks, lo que refuerza su orientación a seguridad corporativa. El plan gratuito incluye 10.000 registros por mes; el plan pagado parte desde 49 dólares mensuales. Para equipos chilenos que deben rendir cuenta a directivos o que operan en sectores regulados como salud o finanzas, Portkey reduce el tiempo de justificación del stack de IA.

Braintrust Gateway: observabilidad y evaluación integradas

Braintrust es la opción más orientada a equipos que necesitan no solo enrutar tráfico, sino medir la calidad de las respuestas en producción. Su gateway conecta directamente con su plataforma de evaluación: cada solicitud puede generar una traza que alimenta experimentos de prompt engineering o comparativas entre modelos. El plan gratuito incluye 1 GB de datos y 10.000 evaluaciones. Para equipos que iteran activamente en sus prompts o que necesitan justificar ante decisores qué modelo rinde mejor en su caso de uso específico, esta integración acorta el ciclo de mejora.

OpenRouter: acceso amplio sin infraestructura propia

OpenRouter es la puerta de entrada más rápida al multi-proveedor. Ofrece acceso a más de 400 modelos de más de 60 proveedores mediante un endpoint compatible con la API de OpenAI, con modelo de pago por uso sin suscripción mensual obligatoria. En abril de 2026 lanzó Workspaces, que permite separar entornos de desarrollo, staging y producción con claves, límites de gasto y observabilidad propios para cada uno. Es la opción correcta cuando el equipo quiere probar varios modelos sin comprometer infraestructura, pero tiene menos profundidad en gobernanza que Portkey o LiteLLM autohospedado para entornos enterprise.

Para equipos que eligen LiteLLM, los pasos iniciales son directos. La documentación oficial recomienda comenzar con Docker para aislar el servidor y facilitar actualizaciones.

# Levantar LiteLLM proxy con Docker
docker pull ghcr.io/berriai/litellm:main-latest

docker run -d \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -p 4000:4000 \
  -e ANTHROPIC_API_KEY=tu_clave_anthropic \
  -e OPENAI_API_KEY=tu_clave_openai \
  -e GEMINI_API_KEY=tu_clave_gemini \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --port 4000

Una vez levantado, el servidor expone el endpoint de completions con la misma firma que la API de OpenAI. Tu código existente solo cambia la URL base: en vez de apuntar a la URL de OpenAI, apunta al servidor local en el puerto 4000. El parámetro 'model' pasa a ser el nombre que definiste en el archivo de configuración, no el identificador del proveedor.

# Llamada desde Python sin cambiar el cliente OpenAI
import openai

client = openai.OpenAI(
    api_key="cualquier-valor",
    base_url="http://localhost:4000"
)

respuesta = client.chat.completions.create(
    model="claude-razonamiento",
    messages=[{"role": "user", "content": "Resume este contrato:"}]
)
print(respuesta.choices[0].message.content)