Laya: el motor de decisiones System-1 open source que supera a Jev en latencia y calibración

Cuando analizamos el concepto de modelos System One impulsado por TypeSafe AI con Jev, la conclusión técnica era evidente: usar modelos autorregresivos pesados (como GPT-4o o Claude) para rellenar un booleano o clasificar un ticket es un desperdicio de latencia y presupuesto.

Sin embargo, Jev planteaba dos fricciones habituales del software propietario: dependencia de una API externa con lista de espera y unos tiempos de respuesta locales de aproximadamente 400 ms que, aunque muy superiores a un LLM, siguen siendo perceptibles en arquitecturas de backend con miles de eventos por segundo.

La comunidad de código abierto no ha tardado en responder. Laya, desarrollado por Convai Innovations y publicado en Hugging Face (convaiinnovations/laya), demuestra que es posible llevar este paradigma al entorno open-source con un rendimiento que supera ampliamente los números publicados de Jev.

---

¿Qué es Laya y por qué marca un punto de inflexión?

Laya parte exactamente de la misma premisa de diseño que los modelos System One: eliminar por completo la generación secuencial de texto token a token.

En lugar de simular que “piensa” y redacta una respuesta en lenguaje natural, Laya es un motor puro de decisiones:

• Entrada: el estado o texto de la petición (por ejemplo, el mensaje de un cliente o el contenido de un formulario).
• Salida: respuestas tipadas directas acompañadas de probabilidades calibradas.

A diferencia de los clasificadores tradicionales o de los LLMs con salidas estructuradas, Laya destaca por tres factores clave:

1. Latencia en local: mientras que Jev reporta latencias locales en torno a los 400 ms, Laya responde en 40 a 55 ms por petición, medido en una RTX 3080. En CPU sin GPU, entre 94 ms y 848 ms según máquina y checkpoint (ver el artículo de benchmarks).
2. Capacidad multilingüe nativa: entrenado para procesar entradas en múltiples idiomas. Matiz medido: con el checkpoint multilingual perdí 12 puntos de precisión en español frente a typed-decisions (72 % frente a 84 %).
3. Calibración de confianza real: cuando Laya asigna un 95% de probabilidad a una etiqueta, esa predicción está mejor calibrada que la de un LLM generativo. Pero en mis pruebas se equivoca a veces con confianza igual o superior a 0,9; el umbral hay que medirlo sobre datos propios.

---

Casos de uso de alto volumen: decidir en una sola pasada

En flujos operativos reales, la inmensa mayoría de las llamadas a modelos de IA no necesitan redactar un ensayo, sino tomar una decisión de bifurcación de código:

[Mensaje / Evento entrante]
             │
             ▼
 ┌──────────────────────────────────────────────┐
 │           LAYA ENGINE (40 ms GPU)            │
 │                                              │
 │  • Enrutamiento: "Facturación" (conf: 0.98)  │
 │  • Moderación:   "Seguro"      (conf: 0.99)  │
 │  • Urgencia:     "Crítica"     (conf: 0.94)  │
 │  • Escalar a humano: "No"      (conf: 0.96)  │
 └──────────────────────┬───────────────────────┘
                        │
                        ▼
           [Despacho directo en Backend]

En una única pasada hacia adelante (single forward pass), Laya resuelve simultáneamente:

• Enrutamiento de soporte: clasificar el departamento destinatario sin esperar respuestas conversacionales.
• Moderación y seguridad: filtrar spam, intentos de inyección o contenido no permitido antes de que toque la lógica de negocio.
• Comprobación de hechos y consistencia: verificar si un conjunto de parámetros cumple con las reglas esperadas.
• Decisión de escalado: determinar con precisión matemática si el caso puede ser resuelto automáticamente o requiere intervención de un operador humano.

---

El coste real de llevarlo a producción: API por token vs Hardware propio

Uno de los mayores dolores de cabeza para cualquier responsable técnico es la volatilidad de las facturas de API cuando el volumen de peticiones crece en entornos de producción.

Para evaluar el impacto económico con rigor, analicemos el desglose de costes en un escenario empresarial estándar que procesa 1.000.000 de decisiones mensuales (clasificación de tickets, validación de reglas de negocio o enrutamiento de transacciones).

Desglose de tokens por petición de decisión:

• Tokens de entrada (Input): ~1.000 tokens por petición (contexto del caso, reglas operativas, esquema esperado y payload del usuario).
• Tokens de salida (Output): ~150 tokens por petición (objeto JSON estructurado con etiqueta, razonamiento mínimo y campos de decisión).
• Volumen mensual computado: 1.000 millones de tokens de entrada (1.000M) y 150 millones de tokens de salida (150M).

A continuación comparamos las tarifas oficiales de los principales proveedores frente al despliegue de Laya:

Modelo / Proveedor	Tarifa Entrada (1M tok)	Tarifa Salida (1M tok)	Coste Entrada (1.000M)	Coste Salida (150M)	Coste Mensual Total	Latencia Media
Claude 3.5 Sonnet (Anthropic)	$3,00	$15,00	$3.000	$2.250	$5.250 / mes (~4.830 €)	2.200 ms
GPT-4o (OpenAI)	$2,50	$10,00	$2.500	$1.500	$4.000 / mes (~3.680 €)	1.800 ms
Claude 3.5 Haiku (Anthropic)	$0,80	$4,00	$800	$600	$1.400 / mes (~1.290 €)	850 ms
GPT-4o-mini (OpenAI)	$0,15	$0,60	$150	$90	$240 / mes (~220 €)	650 ms
Jev (TypeSafe AI)	N/A (API cerrada)	N/A	Variable	Variable	Tarifa API propietaria	~400 ms
Laya (Open Source)	0,00 €	0,00 €	0,00 €	0,00 €	45 € a 85 € / mes (fijo)	~40 ms (GPU) / 100-300 ms (CPU)

Incluso frente a los modelos más económicos del mercado (como GPT-4o-mini a 220 €/mes), la alternativa System-1 autohospedada con Laya ofrece ventajas operativas concluyentes:

1. Latencia entre 2 y 16 veces inferior según hardware: de 40 ms (GPU) a 300 ms (CPU) de procesamiento local frente a 650 ms o más sumando la ida y vuelta por red HTTP y el encolado en los servidores del proveedor.
2. Coste predecible y plano: correr Laya en un servidor dedicado o una instancia cloud estándar (vCPU optimizada o GPU económica tipo Nvidia T4/L4) cuesta una cuota fija de entre 45 € y 85 € mensuales. Si el tráfico se triplica en una campaña o un pico puntual, la factura de infraestructura no se multiplica por tres; se mantiene exactamente igual.
3. Privacidad y cumplimiento normativo: los datos confidenciales de la empresa nunca abandonan la red privada hacia APIs de terceros.

Al tratarse de pesos abiertos disponibles en Hugging Face, puedes empaquetar Laya en un contenedor Docker, desplegarlo en tu propia infraestructura con Docker o Kubernetes y no pagar ni un solo céntimo adicional independientemente de si procesas 10.000 o 10.000.000 de peticiones al mes.

---

Coexistencia en arquitecturas agenticas: Laya como escudo del LLM

Laya no pretende sustituir a los grandes modelos de lenguaje en tareas donde se requiere creatividad, razonamiento causal profundo o redacción de respuestas complejas. Su papel en una arquitectura madura es actuar como escudo y filtro de alta velocidad:

[Petición del Usuario]
           │
           ▼
 ┌───────────────────────────────────┐
 │   CAPA SYSTEM 1: LAYA (40-300 ms) │
 │   - Valida seguridad e intención  │
 │   - Calibra confianza matemática  │
 └─────────────────┬─────────────────┘
                   │
      ┌────────────┴────────────┐
      ▼                         ▼
Confianza >= 0.90         Confianza < 0.90
o acción estructurada     o requiere síntesis de texto
      │                         │
      ▼                         ▼
[Ejecución en código]     ┌──────────────────────────────────┐
- Base de datos           │  CAPA SYSTEM 2: LLM (GPT-4o/Claude)
- Trigger de webhook      │  - Redacción personalizada       │
- Respuesta en caché      │  - Razonamiento profundo         │
(85% de las peticiones)   └──────────────────────────────────┘
                            (Solo el 15% de las peticiones)

Al implementar este patrón:

1. El 85% de las solicitudes se resuelven en menos de 300 ms (40 ms con GPU) mediante código directo y bases de datos, con coste computacional casi inexistente.
2. El LLM solo recibe el 15% restante, reduciendo el gasto de API en más de un 80% y eliminando la latencia en las interacciones cotidianas de los usuarios.
3. El sistema gana resiliencia: si el proveedor del LLM sufre una degradación de servicio, las decisiones operativas básicas de la empresa siguen funcionando sin interrupción.

---

Actualización 2026-10

Los números de este artículo venían de la literatura del proyecto, no de mis pruebas. Después lo medí en tres máquinas sin GPU (un portátil i5, un VPS ARM de 2 núcleos y un VPS x86 de 16 vCPU) y lo puse en producción con ONNX. Resultados, la trampa de los hilos y el despliegue en Laya en CPU, sin GPU: lo que medí en tres máquinas.

---

Conclusión

La aparición de Laya confirma una tendencia que en ingeniería de software hemos visto repetirse durante décadas: la especialización siempre supera a la generalización masiva en entornos de alto rendimiento.

Para razonar y escribir, mantén un LLM. Pero para tomar decisiones críticas, clasificar y dirigir el tráfico de tu backend en decenas o cientos de milisegundos sin hipotecar tu presupuesto en tokens, herramientas abiertas como Laya representan el estándar arquitectónico que toda empresa con visión a largo plazo debería adoptar.