OrchestAI: Orquestación Multi-LLM Empresarial con Auditoría Firmada y Deploy On-Premise

La adopción empresarial de IA enfrenta una brecha de gobernanza. Las organizaciones despliegan herramientas de IA de forma ad-hoc — un departamento usa ChatGPT acá, otro usa Claude allá, un tercero experimenta con modelos open-source en máquinas personales. No hay visibilidad central de qué están haciendo los agentes de IA, qué datos procesan, qué proveedor maneja cada solicitud o cuánto cuesta todo. Cuando el CISO pregunta '¿podés demostrar qué hizo tu IA el martes pasado?', la respuesta es silencio. Cuando el CFO pregunta '¿cuánto estamos gastando en IA?', nadie sabe. Esto es shadow AI — y para empresas reguladas, es un riesgo de compliance existencial.

El Desafío

Una empresa provincial de energía con más de 1.500 empleados identificó tres problemas críticos con su estrategia de adopción de IA: Primero, shadow AI — los departamentos se suscribían independientemente a servicios de IA sin gobernanza central, creando riesgos de fuga de datos y puntos ciegos de compliance. Segundo, vendor lock-in — las inversiones tempranas en IA estaban fuertemente acopladas a un solo proveedor, creando riesgos de continuidad de negocio e impidiendo la optimización de costos. Tercero, requisitos de auditoría — su marco regulatorio exigía prueba demostrable de que los sistemas de IA operaban dentro de límites definidos, con registros a prueba de manipulación de cada decisión y acción.

Las soluciones existentes abordaban uno o dos de estos problemas, pero nunca los tres juntos. Existían routers multi-LLM pero sin capacidades de auditoría. Existían plataformas de compliance pero forzaban deploy en la nube. Existían herramientas de gobernanza pero no soportaban instalación on-premise. La organización necesitaba una plataforma única que combinara los tres — y esa plataforma no existía.

La Solución: Arquitectura de OrchestAI

OrchestAI fue diseñado desde cero para resolver el problema de IA empresarial gobernada. La arquitectura se sustenta en cuatro pilares:

• Router Multi-LLM: Cada solicitud de IA pasa por un router central que selecciona el proveedor óptimo basándose en estrategias configurables — más barato, local-first, cloud-first o preferido — con fallback automático. Las aplicaciones se conectan a la API unificada de OrchestAI y nunca necesitan saber qué proveedor está sirviendo su solicitud.
• Cadena de Auditoría Firmada: Cada acción de agente se firma con HMAC-SHA256 y se encadena a la acción anterior. Esto crea un log a prueba de manipulación que auditores externos pueden verificar de forma independiente. Si cualquier entrada en la cadena se modifica después del hecho, la cadena criptográfica se rompe y la manipulación es inmediatamente detectable.
• Deploy On-Premise: Toda la plataforma — API (FastAPI), frontend (Next.js), base de datos (PostgreSQL), vector store (ChromaDB) — se despliega vía docker-compose o Helm/Kubernetes en la infraestructura propia del cliente. Ningún dato sale de su datacenter.
• Catálogo de Agentes Versionado: Los agentes se gestionan con puertas de promoción (dev → staging → prod), benchmarks de evaluación antes de la promoción y despliegues canary continuos cada 15 minutos. Esto aporta disciplina de ingeniería de software a las operaciones de IA.

Arquitectura Técnica

La plataforma OrchestAI comprende 22 modelos SQLAlchemy en 39 tablas de base de datos. El backend es Python/FastAPI con type safety completo. El frontend es Next.js para el dashboard de gestión. PostgreSQL maneja los datos relacionales mientras ChromaDB provee almacenamiento vectorial para persistencia de memoria y retrieval de agentes. El sistema soporta SSO vía OIDC con allowlist de dominios, y todas las credenciales se encriptan con Fernet AES.

La infraestructura de testing incluye aproximadamente 574 tests pytest cubriendo la API del backend y la lógica de negocio, más 41 tests end-to-end con Playwright validando el journey completo del usuario desde la creación de agentes hasta el deployment y la verificación de auditoría. Los procedimientos de backup/restore se han probado con un RTO testeado de aproximadamente 30 segundos.

Caso de Negocio: Perfil Utility

Para una utility regional con 1.500 empleados usando IA en operaciones, servicio al cliente y mantenimiento predictivo, la economía es convincente. El gasto multi-proveedor de IA no gestionado típicamente supera los USD 8.000 por mes. Con el enrutamiento inteligente de OrchestAI — particularmente la estrategia local-first que enruta solicitudes apropiadas a modelos Ollama on-premise en vez de APIs cloud costosas — las organizaciones pueden esperar reducir los costos de infraestructura de IA un 60-70%, llevando el gasto mensual a USD 2.000-3.000 manteniendo la misma o mejor calidad de servicio para cada caso de uso.

Resultados y Estado Actual

• Enrutamiento multi-LLM entre Claude, GPT, Gemini y Ollama con estrategias configurables y fallback automático
• Cadena de auditoría firmada HMAC-SHA256 — a prueba de manipulación, verificable independientemente por auditores externos
• Deploy on-premise completo vía docker-compose o Helm/Kubernetes — los datos nunca salen del datacenter del cliente
• Catálogo de agentes versionado con puertas de promoción (dev → staging → prod) y despliegues canary continuos cada 15 minutos
• Cuotas de costo por agente con dashboards en tiempo real y alertas para gobernanza de presupuesto
• 60-70% de reducción de costos estimada a través de enrutamiento inteligente de proveedores
• Compliance de auditoría alcanzable en aproximadamente 1 día con la evidencia de la cadena firmada
• ~30s de RTO de backup testeado para continuidad de negocio

Referencia de Cliente

OrchestAI está actualmente en preparación activa de piloto con EPEC (Empresa Provincial de Energía de Córdoba), una empresa provincial de energía en Argentina. La demo fue aprobada y la fase de piloto está siendo estructurada. EPEC representa el perfil ideal de cliente OrchestAI: una gran empresa regulada con adopción distribuida de IA, requisitos estrictos de auditoría y una necesidad clara de deploy on-premise para mantener la soberanía de datos.

Diferenciador

OrchestAI es la única plataforma que combina agentes versionados + enrutamiento multi-LLM + cadenas de auditoría firmadas + deploy on-premise en un solo producto. Los competidores ofrecen una o dos de estas capacidades, pero nunca las cuatro juntas. Esta combinación es lo que las empresas reguladas necesitan — y es para lo que OrchestAI fue construido a propósito.