Governando as Entradas para Melhorar a Estabilidade das Saídas de IA

O modelo não mudou. As evidências não mudaram. Não adicionamos outra etapa de inferência. Mudamos a entrada semântica governada com a qual o modelo trabalhava — e, no caso que estávamos investigando, a saída parou de variar.

A falha parecia um problema do modelo

Estávamos avaliando uma classificação governada sobre uma interação empresarial. Quando solicitado a fazer um único julgamento isoladamente, o modelo retornava a resposta correta. Quando solicitado o conjunto completo habitual de saídas — mesma interação, mesmo modelo —, esse julgamento mudava.

Observamos esse padrão há anos e conhecemos o reflexo que ele desperta: culpar o modelo. Mudar a ordem, adicionar uma instrução, rotear a tarefa de outra forma, dividi-la em etapas de raciocínio ou trocar de modelo. Tentamos os movimentos óbvios. Alguns produziram recuperações localizadas. Nenhum sobreviveu à composição completa.

O problema estava no significado, não no modelo

A correção veio ao tratarmos o prompt e as saídas solicitadas como um único sistema semântico, em vez de um amontoado de instruções independentes. As definições governadas davam à mesma evidência mais de um destino plausível — nada deixava claro qual definição era a autoridade quando mais de uma podia reivindicar o mesmo fato.

Então mudamos as entradas, não a redação do prompt — tornando explícitos o significado de cada definição e suas relações, em vez de deixá-los para o modelo inferir, de modo que a mesma evidência não tivesse mais de um destino. Em seguida, reexecutamos o caminho habitual de saída completa. O caso passou em três execuções consecutivas e o julgamento espúrio desapareceu. Mesmo modelo, mesmas evidências, nenhum mecanismo especial.

Entradas e saídas são um único problema de inferência

Esta é a parte que importa além de uma classificação. Os prompts empresariais hoje empilham instruções de sistema, definições de domínio, exemplos, esquemas, campos de saída, rubricas, descrições de ferramentas e políticas. Escrevemos essas peças separadamente. O modelo as lê em conjunto e as resolve como um único problema.

Portanto, confiabilidade não é um problema de redação. É preciso governar o que cada conceito pode significar, qual conceito é dono de um fato, quais evidências o estabelecem, o que ele pode ou não implicar e a que ele se refere. As saídas solicitadas fazem parte desse sistema — elas moldam a forma como o modelo organiza as evidências que você forneceu.

Um caso, um modelo. Não estamos afirmando que toda falha de composição é semântica, nem que a estrutura da saída nunca importa por si só — trabalhos recentes mostram que escolhas de esquema e formato influenciam os modelos de qualquer maneira. Nossa afirmação é mais restrita e mais útil: quando o significado é mal governado, isso pode se manifestar como o que parece ser instabilidade do modelo, e governar o significado corrige o problema na raiz, em vez de remendar um prompt.

Por que este é um problema de inteligência governada

Se a inteligência importa, seu significado não pode viver apenas dentro de um prompt. O texto do prompt muda. Os modelos mudam. Os esquemas mudam. Os ambientes de execução mudam. O significado precisa sobreviver a tudo isso — o que significa que ele deve ser um ativo com dono e governança, não uma formulação de sorte que por acaso funcionou na semana passada.

Foi para atender a essa necessidade que construímos o Metis. O Metis trata a própria definição da inteligência empresarial como o artefato governado: um humano ou uma IA pode propor o significado, um caminho de aceitação independente o avalia, a semântica aceita é projetada em prompts, esquemas, avaliadores ou SQL, e a inteligência resultante é verificada contra evidências e mantida com proveniência.

Vale a pena contrastar com o trabalho adjacente mais robusto. O GROUND governa text-to-SQL empresarial contra uma camada semântica aprovada — métricas, dimensões, junções, granularidade e segurança aprovadas — e valida o SQL gerado antes de sua execução. É uma arquitetura de analytics sólida. O Metis começa um passo antes e termina um passo depois: governa a criação e a aceitação da definição semântica da qual as projeções derivam, e trata SQL, prompts, esquemas e avaliadores como projeções de uma única definição durável. Este experimento vive nesse passo anterior — verificando que o significado montado é coerente antes que qualquer artefato voltado ao modelo seja considerado confiável, e depois verificando o julgamento após a inferência.

O que isso significa para a IA empresarial

Mudar a saída solicitada expôs a falha. Governar a entrada semântica a corrigiu. A confiabilidade, aqui, não era apenas uma propriedade do modelo — era uma propriedade do sistema semântico que fornecemos a ele e das saídas que pedimos que produzisse. Esse é um resultado mais forte do que mais uma rodada de ajuste de prompt, porque a correção vive na definição da inteligência, não em um remendo pontual que a próxima mudança de esquema vai desfazer. Governe as entradas e saídas como um único sistema, projete esse significado nos artefatos de que precisar e verifique o que retorna. O prompt é uma superfície de execução. Ele não deve ser a única autoridade sobre o que sua empresa significa.

O que vem a seguir

Estamos qualificando isso em mais modelos e cargas de trabalho por meio do NeoSavant Model Observatory, e publicaremos assim que as evidências estiverem congeladas. A descoberta original não depende dessas execuções — elas nos dirão até onde o efeito e a correção se estendem.