OrchestAI: Orquestração Multi-LLM Empresarial com Auditoria Assinada e Deployment On-Premise

A adoção empresarial de IA enfrenta uma lacuna de governança. Organizações implantam ferramentas de IA de forma ad-hoc — um departamento usa ChatGPT aqui, outro usa Claude ali, um terceiro experimenta com modelos open-source em máquinas pessoais. Não há visibilidade central sobre o que os agentes de IA estão fazendo, quais dados processam, qual provedor atende qual solicitação ou quanto tudo custa. Quando o CISO pergunta 'você pode provar o que sua IA fez na terça passada?', a resposta é silêncio. Quando o CFO pergunta 'quanto estamos gastando com IA?', ninguém sabe. Isso é shadow AI — e para empresas regulamentadas, é um risco de compliance existencial.

O Desafio

Uma empresa de energia regional com mais de 1.500 funcionários identificou três problemas críticos com sua estratégia de adoção de IA: Primeiro, shadow AI — departamentos assinavam serviços de IA independentemente sem governança central, criando riscos de vazamento de dados e pontos cegos de compliance. Segundo, vendor lock-in — investimentos iniciais em IA estavam fortemente acoplados a um único provedor, criando riscos de continuidade de negócio e impedindo a otimização de custos. Terceiro, requisitos de auditoria — seu framework regulatório exigia prova demonstrável de que os sistemas de IA operavam dentro de limites definidos, com registros à prova de adulteração de cada decisão e ação.

As soluções existentes abordavam um ou dois desses problemas, mas nunca os três juntos. Roteadores multi-LLM existiam mas sem capacidades de auditoria. Plataformas de compliance existiam mas forçavam deployment na nuvem. Ferramentas de governança existiam mas não suportavam instalação on-premise. A organização precisava de uma plataforma única que combinasse os três — e essa plataforma não existia.

A Solução: Arquitetura OrchestAI

OrchestAI foi projetado do zero para resolver o problema da IA empresarial governada. A arquitetura se baseia em quatro pilares:

• Router Multi-LLM: Cada solicitação de IA passa por um roteador central que seleciona o provedor ótimo com base em estratégias configuráveis — mais barato, local-first, cloud-first ou preferido — com fallback automático. As aplicações se conectam à API unificada do OrchestAI e nunca precisam saber qual provedor está atendendo sua solicitação.
• Cadeia de Auditoria Assinada: Cada ação de agente é assinada com HMAC-SHA256 e encadeada à ação anterior. Isso cria um log à prova de adulteração que auditores externos podem verificar de forma independente. Se qualquer entrada na cadeia for modificada após o fato, a cadeia criptográfica quebra e a adulteração é imediatamente detectável.
• Deployment On-Premise: Toda a plataforma — API (FastAPI), frontend (Next.js), banco de dados (PostgreSQL), vector store (ChromaDB) — faz deployment via docker-compose ou Helm/Kubernetes na própria infraestrutura do cliente. Nenhum dado jamais sai do datacenter deles.
• Catálogo de Agentes Versionado: Os agentes são gerenciados com portões de promoção (dev → staging → prod), benchmarks de avaliação antes da promoção e deployments canary contínuos a cada 15 minutos. Isso traz a disciplina de engenharia de software para as operações de IA.

Arquitetura Técnica

A plataforma OrchestAI compreende 22 modelos SQLAlchemy em 39 tabelas de banco de dados. O backend é Python/FastAPI com type safety completa. O frontend é Next.js para o dashboard de gestão. PostgreSQL lida com dados relacionais enquanto ChromaDB fornece armazenamento vetorial para persistência de memória e retrieval de agentes. O sistema suporta SSO via OIDC com allowlist de domínios, e todas as credenciais são criptografadas com Fernet AES.

A infraestrutura de testes inclui aproximadamente 574 testes pytest cobrindo a API backend e a lógica de negócio, mais 41 testes end-to-end Playwright validando a jornada completa do usuário desde a criação de agentes até o deployment e a verificação de auditoria. Os procedimentos de backup/restore foram testados com um RTO de aproximadamente 30 segundos.

Business Case: Perfil Utility

Para uma utility regional com 1.500 funcionários usando IA em operações, atendimento ao cliente e manutenção preditiva, a economia é convincente. O gasto multi-provedor de IA não gerenciado tipicamente ultrapassa USD 8.000 por mês. Com o roteamento inteligente do OrchestAI — particularmente a estratégia local-first que roteia solicitações apropriadas para modelos Ollama on-premise em vez de APIs cloud caras — as organizações podem esperar reduzir os custos de infraestrutura de IA em 60-70%, trazendo o gasto mensal para USD 2.000-3.000 mantendo a mesma ou melhor qualidade de serviço para cada caso de uso.

Resultados e Estado Atual

• Roteamento multi-LLM entre Claude, GPT, Gemini e Ollama com estratégias configuráveis e fallback automático
• Cadeia de auditoria assinada HMAC-SHA256 — à prova de adulteração, verificável independentemente por auditores externos
• Deployment on-premise completo via docker-compose ou Helm/Kubernetes — os dados nunca saem do datacenter do cliente
• Catálogo de agentes versionado com portões de promoção (dev → staging → prod) e deployments canary contínuos a cada 15 minutos
• Cotas de custo por agente com dashboards em tempo real e alertas para governança de orçamento
• 60-70% de redução de custos estimada através de roteamento inteligente de provedores
• Compliance de auditoria alcançável em aproximadamente 1 dia com a evidência da cadeia assinada
• ~30s de RTO de backup testado para continuidade de negócio

Referência de Cliente

OrchestAI está atualmente em preparação ativa de piloto com a EPEC (Empresa Provincial de Energía de Córdoba), uma empresa de energia provincial na Argentina. A demo foi aprovada e a fase piloto está sendo estruturada. A EPEC representa o perfil ideal de cliente OrchestAI: uma grande empresa regulamentada com adoção distribuída de IA, requisitos rigorosos de auditoria e uma necessidade clara de deployment on-premise para manter a soberania de dados.

Diferenciador

OrchestAI é a única plataforma que combina agentes versionados + roteamento multi-LLM + cadeias de auditoria assinadas + deployment on-premise em um único produto. Concorrentes oferecem uma ou duas dessas capacidades, mas nunca as quatro juntas. Essa combinação é o que empresas regulamentadas precisam — e é para isso que o OrchestAI foi construído propositalmente.