Gobernar las entradas para mejorar la estabilidad de las salidas de la IA

El modelo no cambió. La evidencia no cambió. No añadimos otra etapa de inferencia. Cambiamos la entrada semántica gobernada con la que trabajaba el modelo — y en el caso que perseguíamos, la salida dejó de moverse.

El fallo parecía un problema del modelo

Estábamos evaluando una clasificación gobernada sobre una interacción empresarial. Cuando se le pedía un solo juicio de forma aislada, el modelo devolvía la respuesta correcta. Cuando se le pedía el conjunto completo habitual de salidas — misma interacción, mismo modelo —, ese juicio cambiaba.

Llevamos años viendo ese patrón, y conocemos el reflejo que provoca: culpar al modelo. Cambiar el orden, añadir una instrucción, enrutar la tarea de otra manera, dividirla en pasos de razonamiento o cambiar de modelo. Probamos las jugadas obvias. Algunas produjeron recuperaciones locales. Ninguna sobrevivió a la composición completa.

El problema estaba en el significado, no en el modelo

La solución vino de tratar el prompt y sus salidas solicitadas como un único sistema semántico, en lugar de un conjunto de instrucciones independientes. Las definiciones gobernadas le daban a la misma evidencia más de un hogar plausible — nada dejaba claro qué definición tenía la autoridad cuando más de una podía reclamar el mismo hecho.

Así que cambiamos las entradas, no la redacción del prompt: hicimos explícito el significado de cada definición y sus relaciones en lugar de dejar que el modelo los infiriera, de modo que la misma evidencia ya no tuviera más de un hogar. Luego volvimos a ejecutar la ruta habitual de salida completa. El caso pasó tres ejecuciones consecutivas y el juicio espurio desapareció. Mismo modelo, misma evidencia, sin maquinaria especial.

Las entradas y las salidas son un solo problema de inferencia

Esta es la parte que importa más allá de una clasificación. Los prompts empresariales hoy apilan instrucciones de sistema, definiciones de dominio, ejemplos, esquemas, campos de salida, rúbricas, descripciones de herramientas y políticas. Escribimos esas piezas por separado. El modelo las lee juntas y las resuelve como un solo problema.

Por eso la fiabilidad no es un problema de redacción. Hay que gobernar lo que cada concepto puede significar, qué concepto es dueño de un hecho, qué evidencia lo establece, qué puede y qué no puede implicar, y de qué trata. Las salidas solicitadas forman parte de ese sistema: moldean cómo el modelo organiza la evidencia que usted le dio.

Un caso, un modelo. No afirmamos que todo fallo de composición sea semántico, ni que la estructura de la salida nunca importe por sí sola — trabajos recientes muestran que las decisiones de esquema y formato afectan a los modelos en cualquier caso. Nuestra afirmación es más acotada y más útil: cuando el significado está mal gobernado, puede manifestarse como lo que parece inestabilidad del modelo, y gobernar el significado lo corrige de raíz en lugar de parchear un prompt.

Por qué esto es un problema de inteligencia gobernada

Si la inteligencia importa, su significado no puede vivir únicamente dentro de un prompt. El texto del prompt cambia. Los modelos cambian. Los esquemas cambian. Los entornos de ejecución cambian. El significado tiene que sobrevivir a todo eso — lo que implica que debe ser un activo propio y gobernado, no una formulación afortunada que resultó funcionar la semana pasada.

Esa es la necesidad para la que construimos Metis. Metis trata la propia definición de inteligencia empresarial como el artefacto gobernado: un humano o una IA puede proponer el significado, una vía de aceptación independiente lo evalúa, la semántica aceptada se proyecta en prompts, esquemas, evaluadores o SQL, y la inteligencia resultante se verifica contra la evidencia y se conserva con procedencia.

Vale la pena contrastarlo con el trabajo adyacente más sólido. GROUND gobierna la generación empresarial de texto a SQL contra una capa semántica aprobada — métricas, dimensiones, uniones, granularidad y seguridad aprobadas — y valida el SQL generado antes de ejecutarlo. Es una arquitectura analítica sólida. Metis empieza un paso antes y termina un paso después: gobierna la creación y aceptación de la definición semántica de la que se derivan las proyecciones, y trata el SQL, los prompts, los esquemas y los evaluadores como proyecciones de una única definición perdurable. Este experimento vive en ese paso anterior — comprobar que el significado ensamblado es coherente antes de confiar en cualquier artefacto orientado al modelo, y verificar después el juicio tras la inferencia.

Qué significa esto para la IA empresarial

Cambiar la salida solicitada expuso el fallo. Gobernar la entrada semántica lo corrigió. Aquí la fiabilidad no fue solo una propiedad del modelo: fue una propiedad del sistema semántico que le suministramos y de las salidas que le pedimos producir. Ese es un resultado más sólido que otra ronda de ajuste de prompts, porque la corrección vive en la definición de la inteligencia, no en un parche puntual que el próximo cambio de esquema deshará. Gobierne las entradas y las salidas como un solo sistema, proyecte ese significado en los artefactos que necesite y verifique lo que regresa. El prompt es una superficie de ejecución. No debería ser la única autoridad sobre lo que su empresa significa.

Qué viene después

Estamos calificando esto en más modelos y cargas de trabajo a través del NeoSavant Model Observatory, y publicaremos a medida que la evidencia quede congelada. El hallazgo original no depende de esas ejecuciones: nos dirán hasta dónde llegan el efecto y su corrección.