Gateway de LLM de Alto Rendimiento en Rust
Desafío
Proveer acceso centralizado a modelos de IA, con API compatible con el formato de OpenAI y Anthropic, para aplicaciones críticas de mensajería, transcripción y automatización sin sobrecostes de infraestructura ni exposición de credenciales privadas.
Qué resuelve
- Pasarela unificada de alto rendimiento: backend compilado en Rust (Axum, Tokio, SQLx) con compatibilidad nativa para especificaciones de OpenAI y Anthropic, streaming en tiempo real (SSE) y soporte multimedia.
- Modelos virtuales y control comercial: abstracción de modelos con prompts de sistema inmutables, panel administrativo en SvelteKit y pasarela de cobro integrada con Stripe (saldo prepago, consumo por uso y suscripciones).
Qué evita en producción
- Desbordamientos de gasto: cuotas estrictas en Redis y limitadores de tasa que bloquean el consumo anómalo o no autorizado.
- Caídas en cascada: colas con prioridad y desconexión rápida (circuit breaker) que aíslan fallos del modelo de IA sin bloquear las peticiones entrantes.
Notas de Ingeniería y Diseño de Sistemas
Análisis técnicos, compensaciones arquitectónicas y lecciones aprendidas en producción.
Laya en CPU, sin GPU: lo que medí en tres máquinas antes de ponerlo en producción
38 ms era con GPU. En CPU, de 94 a 848 ms según la máquina. Benchmarks reales, la trampa de los hilos, ONNX frente a PyTorch y cómo quedó el despliegue en un VPS.
Arquitectura Hexagonal y DDD en Laravel: Desacoplando el Dominio de Eloquent con DTOs y Repositorios
Cómo estructurar aplicaciones complejas en Laravel sin que Eloquent contamine la lógica de negocio: Puertos y Adaptadores, Value Objects inmutables con PHP 8.2 y separación estricta de capas.
PHP a Escala Planetaria: Slack, Meta, Tipado Estricto con PHPStan y Concurrencia con Fibers (Parte 4)
Por qué gigantes tecnológicos como Slack, Wikipedia y Meta siguen apostando por PHP: la economía del modelo stateless en Kubernetes, análisis estático de nivel máximo y concurrencia cooperativa con Fibers.