A mesma resposta certa com um terço dos tokens.
A Strattum fez a mesma pergunta ao mesmo modelo de IA por dois caminhos: direto nos sistemas da empresa e por meio de um Company Brain, a camada que organiza esses dados antes de o modelo ler.
Média de 12 modelos. A acurácia subiu de 75% para 93% no mesmo teste.Strattum Bench · 6.120 respostas avaliadas
- 01
Os 12 modelos, um a um. Acurácia e consumo com e sem Company Brain, com margem de erro.
- 02
Onde o ganho cresce. Perguntas que cruzam três ou mais sistemas.
- 03
A metodologia completa. Conectores, juiz independente e auditoria às cegas.
- 04
Os limites do estudo. O que dá para afirmar e o que ainda pede ressalva.
O e-book está a caminho.
O estudo do Strattum Bench segue para . Se não aparecer na caixa de entrada, vale conferir a aba de promoções.
Acompanhar no LinkedIn →Mais respostas certas com menos tokens.
Pergunta, dados, modelo e limite de tokens foram idênticos nos dois caminhos. Só mudou como os dados chegaram ao modelo.
Sem modelo ligado direto aos sistemas Com modelo ligado ao Company Brain
Acurácia médiaParte das informações pedidas que veio certa.
Respostas totalmente corretasSem nenhum erro.
Tokens por perguntaTudo o que o modelo leu e escreveu.
Perguntas que cruzam 3+ sistemasDiagnósticos que juntam CRM, atendimento, financeiro e contratos.
A redução foi medida em tokens. Em reais tende a ser menor, porque parte dos tokens eliminados eram releituras, que os provedores cobram mais barato.
Resultado de cada modelo e metodologia completa no e-book.
Baixar o e-bookQuem já acertava passa a gastar menos. Quem errava passa a acertar.
Os 12 modelos foram separados pelo desempenho sem o Company Brain.
Mantêm a qualidade e cortam o consumo.
- Acurácia média
- 96% → 99%
- Respostas totalmente corretas
- 93% → 99%
- Tokens por pergunta
- 173 mil → 56 mil
Nenhum deles perdeu acurácia.
Dão um salto de acurácia e também gastam menos.
- Acurácia média
- 46% → 85%
- Respostas totalmente corretas
- 35% → 74%
- Tokens por pergunta
- 149 mil → 53 mil
Sem o Company Brain, erravam mais da metade das perguntas.
O modelo mais barato da rodada errava 4 em cada 5 perguntas. Com o Company Brain, passou a acertar quase 4 em cada 5.
| Modelo | Acurácia sem | Acurácia com | Tokens |
|---|---|---|---|
| 19% | 79% | 1,2x | |
| 31% | 81% | 2,6x | |
| 39% | 75% | 2,5x | |
| 59% | 93% | 4,6x | |
| 83% | 97% | 3,1x | |
| 91% | 98% | 3,1x |
Os 12 modelos identificados, com faixa de preço e margem de erro, estão no e-book.
Quero a tabela completaDois caminhos até os mesmos dados.
Cenário sintético: uma empresa de software com 60 clientes corporativos e a operação espalhada por cinco sistemas que não compartilham código de cliente.
Uma conexão por sistema: CRM, atendimento, financeiro, pesquisa de satisfação e documentos. 25 ferramentas copiadas de conectores reais de mercado.
Uma conexão, 9 ferramentas. Cada cliente aparece como a mesma entidade em todos os sistemas, ligado a contatos, chamados, faturas e contratos.
Gabarito item a item. Um juiz de outra família de modelo, calibrado com correções manuais, conferiu cada resposta contra a lista de informações esperadas.
Auditoria às cegas. Um modelo de uma terceira família revisou todos os vereditos, com leitura humana de cada discordância.
Comparação pareada. Mesma pergunta e mesmo modelo, só o caminho variando. Consumo só foi comparado onde a qualidade empatou.
Custo completo. O consumo da própria Strattum entra na conta: menos de 0,5% do total.