Gouverner les entrées pour améliorer la stabilité des sorties de l'IA

Le modèle n'a pas changé. Les éléments de preuve n'ont pas changé. Nous n'avons pas ajouté d'étape d'inférence supplémentaire. Nous avons changé l'entrée sémantique gouvernée sur laquelle le modèle travaillait — et dans le cas que nous traquions, la sortie a cessé de fluctuer.

L'échec ressemblait à un problème de modèle

Nous évaluions une classification gouvernée portant sur une interaction d'entreprise. Interrogé sur un seul jugement isolé, le modèle renvoyait la bonne réponse. Interrogé sur l'ensemble complet habituel des sorties — même interaction, même modèle — ce jugement changeait.

Nous observons ce schéma depuis des années, et nous connaissons le réflexe qu'il déclenche : incriminer le modèle. Changer l'ordre, ajouter une instruction, router la tâche différemment, la décomposer en étapes de raisonnement, ou changer de modèle. Nous avons tenté les manœuvres évidentes. Quelques-unes ont produit des rétablissements locaux. Aucune n'a résisté à la composition complète.

Le problème résidait dans le sens, pas dans le modèle

La solution est venue du fait de traiter le prompt et les sorties demandées comme un seul système sémantique plutôt que comme un amas d'instructions indépendantes. Les définitions gouvernées offraient au même élément de preuve plus d'un rattachement plausible — rien n'indiquait clairement quelle définition faisait autorité lorsque plusieurs pouvaient revendiquer le même fait.

Nous avons donc changé les entrées, et non la formulation du prompt — en rendant explicites le sens de chaque définition et ses relations au lieu de laisser le modèle les inférer, de sorte que le même élément de preuve n'avait plus qu'un seul rattachement possible. Puis nous avons relancé le parcours habituel avec l'ensemble complet des sorties. Le cas a réussi trois exécutions consécutives et le jugement erroné avait disparu. Même modèle, mêmes éléments de preuve, aucun mécanisme particulier.

Entrées et sorties constituent un seul problème d'inférence

C'est la partie qui compte au-delà d'une seule classification. Les prompts d'entreprise empilent désormais instructions système, définitions métier, exemples, schémas, champs de sortie, grilles d'évaluation, descriptions d'outils et politiques. Nous rédigeons ces éléments séparément. Le modèle les lit ensemble et les résout comme un seul problème.

La fiabilité n'est donc pas une question de formulation. Il faut gouverner ce que chaque concept est autorisé à signifier, quel concept possède un fait, quels éléments de preuve l'établissent, ce qu'il peut ou ne peut pas impliquer, et ce sur quoi il porte. Les sorties demandées font partie de ce système — elles façonnent la manière dont le modèle organise les éléments de preuve que vous lui avez fournis.

Un cas, un modèle. Nous ne prétendons pas que tout échec de composition est sémantique, ni que la structure des sorties ne compte jamais en elle-même — des travaux récents montrent que les choix de schéma et de format influencent les modèles quoi qu'il en soit. Notre affirmation est plus étroite et plus utile : lorsque le sens est mal gouverné, cela peut se manifester comme ce qui ressemble à une instabilité du modèle, et gouverner le sens corrige le problème à la racine au lieu de rafistoler un prompt.

Pourquoi c'est un problème d'intelligence gouvernée

Si l'intelligence compte, son sens ne peut pas résider uniquement dans un prompt. Le texte du prompt change. Les modèles changent. Les schémas changent. Les environnements d'exécution changent. Le sens doit survivre à tout cela — ce qui signifie qu'il doit être un actif possédé et gouverné, et non une formulation chanceuse qui se trouvait fonctionner la semaine dernière.

C'est le besoin auquel nous avons conçu Metis pour répondre. Metis traite la définition même de l'intelligence d'entreprise comme l'artefact gouverné : un humain ou une IA peut proposer le sens, un parcours d'acceptation indépendant l'évalue, la sémantique acceptée se projette dans des prompts, des schémas, des évaluateurs ou du SQL, et l'intelligence qui en résulte est vérifiée à l'aune des éléments de preuve et conservée avec sa provenance.

Il vaut la peine de comparer avec les travaux adjacents les plus solides. GROUND gouverne le text-to-SQL d'entreprise à l'aune d'une couche sémantique approuvée — métriques, dimensions, jointures, granularité, sécurité approuvées — et valide le SQL généré avant son exécution. C'est une architecture analytique solide. Metis commence une étape plus tôt et se termine une étape plus tard : il gouverne la création et l'acceptation de la définition sémantique dont les projections sont dérivées, et traite SQL, prompts, schémas et évaluateurs comme autant de projections d'une seule définition durable. Cette expérience se situe dans cette étape en amont — vérifier la cohérence du sens assemblé avant d'accorder confiance à tout artefact destiné au modèle, puis vérifier le jugement après l'inférence.

Ce que cela signifie pour l'IA d'entreprise

Changer la sortie demandée a exposé l'échec. Gouverner l'entrée sémantique l'a corrigé. La fiabilité, ici, n'était pas seulement une propriété du modèle — c'était une propriété du système sémantique que nous lui fournissions et des sorties que nous lui demandions de produire. C'est un résultat plus fort qu'un énième cycle d'ajustement de prompts, parce que la correction réside dans la définition de l'intelligence, et non dans un correctif ponctuel que le prochain changement de schéma viendra défaire. Gouvernez les entrées et les sorties comme un seul système, projetez ce sens dans les artefacts dont vous avez besoin, et vérifiez ce qui en ressort. Le prompt est une surface d'exécution. Il ne devrait pas être la seule autorité sur ce que signifie votre entreprise.

La suite

Nous qualifions ce résultat sur davantage de modèles et de charges de travail via le NeoSavant Model Observatory, et nous publierons à mesure que les éléments de preuve seront figés. Le constat initial ne dépend pas de ces exécutions — elles nous diront jusqu'où l'effet et le correctif se propagent.