IA Generativa,
Agentes & LLMOps

Arquitetura do sistema

Decisões técnicas relevantes

• Evolução incremental da stack — 2023: LangChain 0.x + GPT-3.5-Turbo, fluxos lineares. Mid-2024: migração para LangGraph (StateGraph com persistência) e GPT-4o/Claude 3 Haiku quando essas APIs se tornaram estáveis e economicamente viáveis.
• State machine persistente com LangGraph — retomada de fluxo em caso de falha sem reprocessamento, com checkpoint por etapa.
• Multi-agent handoff com passagem explícita de contexto — evita reprocessar documentos já extraídos; cada nó recebe apenas o que precisa.
• Prompt caching no Supervisor — redução de ~30% no custo de tokens nas interações repetitivas entre agentes.
• Model fallback automático — GPT-4o → Claude 3 Haiku baseado em latência e complexidade da task, com backoff configurável.
• Streaming via SSE — portal do atendente recebe resposta em tempo real enquanto agentes trabalham em paralelo.
• Guardrails de compliance — Compliance Agent bloqueia pareceres que violem regras SUSEP antes de chegar ao segurado.

Evolução do sistema — três fases

• 2022 — Retrieval sem geração: ingestão de Confluence/Jira/GitHub, embeddings estáticos, busca por similaridade coseno, resultados rankeados entregues como lista linkada. Útil, mas sem linguagem natural.
• 2023 — Adoção de modelos de chat via API: integração com API OpenAI (GPT-3.5-Turbo, disponível desde mar/2023), contexto recuperado injetado no prompt, respostas em linguagem natural com citação obrigatória da fonte.
• 2023–2024 — Maturação do pipeline: evolução para busca híbrida (léxica + semântica), reranking, migração para GPT-4 Turbo, LLM-as-judge para avaliação automática de qualidade integrada ao CI/CD.

Decisões técnicas relevantes

• Chunking por tipo de documento — RFCs, runbooks e tickets têm estrutura diferente; estratégias de segmentação específicas por tipo reduziram ruído no retrieval.
• Source citation obrigatória — toda resposta inclui trecho e link para o documento original; respostas sem grounding bloqueadas na camada de output.
• Versionamento de prompts — toda mudança de system prompt dispara re-avaliação no dataset de teste curado; qualidade como gate de merge.
• Estabilização KServe — padronizei o serving dos modelos de ML em Kubernetes, reduzindo instabilidades em deploy e melhorando confiabilidade do pipeline.
• Observabilidade — tracing de latência e drift de qualidade com Grafana/Prometheus; alertas por degradação de relevância semana a semana.

Capacidades implementadas

• Prompt Registry — versionamento semântico com diff visual, rollback em 1 clique e trilha de aprovação por papel (autor, revisor, deployer).
• Eval Suite automatizada — test cases curados por domínio (sinistros, coberturas, atendimento); roda no CI/CD, bloqueia merge se score cair.
• Tracing distribuído — cada chamada LLM recebe trace_id propagado por todos os agentes; reconstrução completa de qualquer interação em produção.
• Cost Dashboard em tempo real — custo por agente, modelo e sessão; alertas configuráveis por threshold mensal.
• Model fallback declarativo — política em YAML: GPT-4o → Claude 3.5 Sonnet → Haiku, baseada em latência e tipo de task.
• Conversation summarization pipeline — comprime históricos longos antes de reinjetar no contexto, com rastreabilidade do que foi comprimido e por quê.
• Cache com TTL por tipo de prompt — prompts de saudação e FAQ têm TTL longo; prompts analíticos têm TTL zero.

Pipeline de processamento (stack de 2014–2017)

Destaques de engenharia

• RegEx especializado por tipo de documento — padrões diferentes para matrícula, escritura pública e instrumento particular; refinados iterativamente com feedback de advogados especialistas em direito imobiliário.
• Validação cruzada por regras — datas de transferência devem ser posteriores à data de registro; inconsistências geram flag de revisão humana em vez de parecer automático.
• Multi-tenancy desde o início — dados de diferentes cartórios e imobiliárias nunca se cruzam; configuração de extração e regras de negócio por tenant.
• ETL idempotente — deduplicação por hash do documento; reprocessamento seguro sem duplicação de registros.
• Privacy by design — dados de CPF/CNPJ tratados com controle de acesso por papel desde a arquitetura inicial; adequação à LGPD (sancionada em 2018, vigente em 2020) foi natural pela base já construída.

Arquitetura de decisão

Destaques de engenharia

• Latência separada por camada — scoring interno (XGBoost + Redis): p95 ~5ms. API FastAPI fim a fim (enriquecimento + score + log): p95 <30ms. Dois números distintos, dois pontos de medição distintos.
• Feature engineering sobre imbalance extremo — técnicas como SMOTE, class weighting e threshold calibration para minimizar falsos positivos em distribuições altamente assimétricas.
• Drift monitoring automatizado — KS test e PSI calculados diariamente sobre a distribuição das features; alertas automáticos quando divergência ultrapassa baseline; trigger de revisão do modelo.
• Auditabilidade por design — cada decisão registrada com: features utilizadas, versão do modelo, score bruto e threshold aplicado. Requisito regulatório, não feature opcional.
• RBAC + OAuth 2.0 / OIDC — analista de fraude acessa apenas casos de sua fila; equipe de compliance tem visibilidade transversal; acesso ao painel de revisão controlado por escopo.
• Microserviços event-driven — serviços independentes: ingestão, feature computation, scoring e notificação. Comunicação via Kafka; cada serviço com sua própria base de dados; sem acoplamento síncrono no caminho crítico.