IA privada on-premise en Chile: modelos pequeños (SLM) para datos sensibles
Cómo usar SLM —Phi, Gemma, Qwen, Llama— en tu propia infraestructura para procesar datos sensibles sin enviarlos a la nube, con soberanía de datos, cumplimiento de la Ley 21.719 y costo predecible.
En Cognitiva, agencia chilena de IA, trabajamos con empresas que nos plantean la misma pregunta: ¿cómo usar modelos de lenguaje generativo sin exponer datos sensibles a servidores externos? La respuesta es la IA privada on-premise con modelos de lenguaje pequeños (SLM). Esta categoría —que incluye familias como Phi de Microsoft, Gemma de Google, Llama de Meta y Qwen de Alibaba— permite desplegar IA generativa dentro de tu propia infraestructura: sin tráfico hacia proveedores externos, sin costos variables por token y sin depender de la disponibilidad de una API de terceros. Para empresas chilenas que procesan contratos, datos de pacientes, registros financieros o información de RR.HH., la ecuación cambia cuando la Ley 21.719 —cuya vigencia plena comienza el 1 de diciembre de 2026— establece sanciones de hasta 20.000 UTM por infracciones gravísimas. El control de los datos deja de ser una preferencia técnica y se convierte en una decisión de negocio. Este artículo explica qué son los SLM, cuándo tiene sentido la IA privada on-premise —y cuándo no—, qué familias de modelos existen y cuál es la matriz de decisión que Cognitiva usa para recomendar la arquitectura correcta.
¿Qué son los SLM y por qué importan en 2026?
Los modelos de lenguaje pequeños (SLM, por Small Language Models) son redes neuronales entrenadas para generar y procesar texto, diseñadas para operar con una fracción del cómputo que exigen los modelos de frontera. A diferencia de un LLM de gran escala —que puede superar los cien mil millones de parámetros y requiere clústeres de GPU en la nube—, un SLM bien elegido corre en un servidor dedicado dentro de tu propia infraestructura.
En los últimos dos años, la calidad de estas familias dio un salto relevante. Los fabricantes optimizaron arquitecturas, datos de entrenamiento y técnicas de alineación, logrando modelos competitivos en tareas de negocio concretas: extracción de información de documentos, clasificación de correos, resumen de contratos, asistentes internos de soporte. Para ese tipo de aplicaciones, un SLM bien configurado entrega resultados útiles sin mover un solo byte fuera de tu servidor.
Las cuatro familias principales para despliegue local
- Phi-4 (Microsoft): La familia incluye variantes desde 3.8B parámetros (Phi-4-mini) hasta 14B (Phi-4). Destaca en razonamiento estructurado, código y tareas matemáticas. Distribuido bajo licencia MIT.
- Gemma 3 (Google): Disponible en versiones 1B, 4B, 12B y 27B parámetros. Licencia propia de Google —no Apache 2.0— que permite uso comercial con condiciones. Pesos descargables sin dependencia de la infraestructura de Google.
- Qwen3 (Alibaba Cloud): Variantes densas desde 0.6B hasta 32B parámetros, más variantes de mezcla de expertos (MoE). Licencia Apache 2.0 para los modelos de pesos abiertos, que permite uso comercial sin restricciones de escala. Buen soporte multilingüe incluyendo español.
- Llama 4 (Meta): Licencia comunitaria que habilita uso comercial para organizaciones con menos de 700 millones de usuarios activos mensuales. El ecosistema de herramientas, fine-tuning y soporte es uno de los más amplios del mercado.
Soberanía de datos y Ley 21.719: el riesgo de procesar datos en la nube
Cuando tu empresa llama a una API de IA externa —OpenAI, Anthropic, Google u otro proveedor—, el texto que envías viaja a servidores fuera de tu infraestructura. Si ese texto contiene datos personales de tus clientes, colaboradores o pacientes, se activan las obligaciones de la Ley 21.719 sobre tratamiento de datos por encargados y transferencias internacionales. No se trata de una prohibición absoluta, pero sí de un conjunto de requisitos de cumplimiento que hay que acreditar y documentar.
La Ley 21.719, cuya vigencia plena comienza el 1 de diciembre de 2026, establece un régimen sancionatorio con tres tramos: infracciones leves, sancionables con amonestación escrita o multa de hasta 5.000 UTM; infracciones graves, con multa de hasta 10.000 UTM; e infracciones gravísimas, con multa de hasta 20.000 UTM. En caso de reincidencia de grandes empresas, las sanciones pueden triplicarse o equivaler al 2% al 4% de los ingresos anuales —lo que resulte mayor.
Este artículo no constituye asesoría legal. Las implicancias específicas de la Ley 21.719 en tu organización dependen de la naturaleza de tus datos, tus sistemas y tus contratos vigentes. Consulta a un abogado especializado en protección de datos personales antes de tomar decisiones basadas en esta guía.
La IA privada on-premise elimina este riesgo en el origen: si el modelo vive dentro de tu infraestructura y el texto nunca sale de ella, no hay tratamiento por encargado externo ni transferencia internacional que acreditar. Esta arquitectura simplifica además el análisis de impacto de privacidad (DPIA) que la ley exige para sistemas de tratamiento de alto riesgo.
Cuándo tiene sentido la IA privada on-premise —y cuándo no
La IA privada on-premise no es la respuesta correcta para todas las empresas. La arquitectura adecuada depende de cuatro factores: sensibilidad de los datos, volumen de inferencia, latencia requerida y capacidad técnica interna.
Casos donde on-premise es la elección correcta
- Datos de alta sensibilidad: fichas clínicas, contratos legales, datos biométricos o de RR.HH., información de RUT y registros financieros. El solo hecho de enviarlos a una API externa activa obligaciones bajo la Ley 21.719.
- Alto volumen de inferencia sostenido: clasificación masiva de documentos, procesamiento continuo de correos o transcripción de llamadas. El costo fijo del hardware se amortiza más rápido que el costo variable de una API.
- Latencia crítica: aplicaciones donde el tiempo de respuesta es un factor funcional y la ida y vuelta a un servidor en el exterior resulta inaceptable.
- Sectores con restricciones explícitas: salud, banca, defensa o cualquier rubro donde la normativa sectorial limite las transferencias de datos a terceros.
Casos donde la nube sigue siendo la mejor opción
- Equipo de TI pequeño o sin experiencia en infraestructura de GPU: mantener un servidor de inferencia requiere capacidad técnica que no todas las pymes tienen.
- Datos de baja sensibilidad o de dominio público: si no procesas datos personales sensibles, el argumento regulatorio cae y el modelo de API suele ser más conveniente.
- Uso esporádico: si tu caso de uso genera decenas de consultas al mes, el costo de mantener hardware encendido supera con creces el gasto en API.
- Necesidad de modelos de frontera: si tu aplicación requiere capacidades avanzadas de razonamiento complejo que los SLM no alcanzan, los modelos en la nube son la opción correcta.
Hardware y herramientas para despliegue local
El despliegue de un SLM on-premise requiere tres componentes: hardware con capacidad de cómputo, un motor de inferencia y un servidor de API local. El ecosistema de herramientas de código abierto para este propósito es amplio y maduro.
Requerimientos de hardware
El requerimiento de hardware depende del tamaño del modelo. Modelos cuantizados de 1B a 4B parámetros pueden correr en CPUs de servidor de alto rendimiento, sin necesidad de GPU. Modelos de 7B a 14B requieren una GPU con suficiente memoria dedicada (VRAM). Para escala de producción con múltiples usuarios simultáneos, se recomienda hardware con GPU profesional o de gama alta de consumo. Antes de invertir, evalúa los requisitos del modelo específico que planeas desplegar: los fabricantes documentan los requisitos mínimos en sus repositorios.
Cuantización: más eficiencia con menos recursos
La cuantización reduce la precisión numérica de los pesos del modelo —de 32 bits a 4 u 8 bits— para que ocupe menos memoria y procese más rápido, con pérdida mínima de calidad en tareas de negocio típicas. Esta técnica permite correr modelos más grandes en hardware más accesible, incluyendo GPUs de estaciones de trabajo que tu empresa puede tener disponibles.
Herramientas principales del ecosistema
- Ollama: interfaz simple para correr SLM en macOS, Windows y Linux. Expone una API compatible con OpenAI, lo que facilita la integración con aplicaciones existentes con cambios mínimos en el código.
- llama.cpp: motor de inferencia en C++ optimizado para CPU y GPU, compatible con el formato de cuantización GGUF. Alta portabilidad entre plataformas.
- vLLM: motor de alto rendimiento para GPU NVIDIA. Recomendado para entornos de producción con múltiples usuarios simultáneos.
- LM Studio: entorno con interfaz gráfica para exploración, pruebas y prototipado en hardware local sin necesidad de línea de comando.
Matriz de decisión Cognitiva: on-premise, nube o híbrido
En Cognitiva evaluamos cada proyecto de IA con cuatro dimensiones antes de recomendar una arquitectura de despliegue. Esta matriz es un punto de partida estructurado —no un árbol de decisión automático—: cada empresa tiene restricciones específicas que requieren análisis caso a caso.
| Dimensión | On-premise | Nube | Híbrido |
|---|---|---|---|
| Sensibilidad de datos | Alta (salud, legal, RR.HH.) | Baja a media (datos no personales) | Media (mix de flujos) |
| Volumen de inferencia | Alto y sostenido | Bajo o esporádico | Variable con picos |
| Latencia requerida | Crítica (sin tolerancia a red externa) | Tolerable (latencia de red aceptable) | Según tipo de servicio |
| Equipo técnico TI | Capacidad interna en infraestructura GPU | Sin equipo especializado | Capacidad parcial disponible |
| Modelo financiero | Capex (inversión en hardware) | Opex (pago por uso) | Capex parcial + Opex variable |
El enfoque híbrido —datos sensibles y carga base en local, picos o datos no sensibles en la nube— permite capturar lo mejor de ambos mundos. No es infrecuente que dentro de una misma empresa coexistan los tres modelos, aplicados a procesos distintos. La clave es segmentar los flujos de trabajo por sensibilidad antes de decidir la arquitectura.
Capex vs. Opex: la lógica financiera de la IA privada
Los proveedores de IA en la nube cobran por token procesado. Para consultas esporádicas, ese modelo es económico y no requiere inversión inicial. Para flujos continuos —clasificación de documentos, procesamiento de correos entrantes, asistencia interna de soporte—, el costo por token se acumula mes a mes y puede superar la inversión en hardware propio en un horizonte relativamente corto.
La IA privada on-premise convierte el costo variable (opex por token) en un costo fijo (inversión en hardware, electricidad, mantenimiento). La predictibilidad financiera es especialmente relevante para empresas chilenas que presupuestan por año y necesitan controlar el gasto en tecnología. Una vez amortizado el hardware, el costo marginal por consulta es casi cero.
Para evaluar la viabilidad financiera, el punto de partida es estimar el volumen mensual de inferencia de tu caso de uso, multiplicarlo por el costo unitario del proveedor de API y compararlo contra la inversión en hardware y la carga operativa de mantenerlo. Si el break-even se alcanza en un plazo razonable para tu empresa, la IA privada on-premise merece una evaluación seria. Cognitiva puede ayudarte a construir ese modelo financiero antes de decidir.
Preguntas frecuentes
Da el siguiente paso
Hablemos
Cuéntanos sobre tu negocio. Respondemos en 24 horas.
Otros canales
Escríbenos por WhatsApp o agenda una llamada de 30 minutos.