AI आउटपुट स्थिरता में सुधार के लिए इनपुट का गवर्नेंस

मॉडल नहीं बदला। साक्ष्य नहीं बदले। हमने कोई अतिरिक्त इन्फ़रेंस चरण नहीं जोड़ा। हमने वह गवर्न्ड सिमेंटिक इनपुट बदला जिस पर मॉडल काम कर रहा था — और जिस मामले की हम जाँच कर रहे थे, उसमें आउटपुट का डगमगाना बंद हो गया।

विफलता देखने में मॉडल की समस्या लग रही थी

हम एक एंटरप्राइज़ इंटरैक्शन पर गवर्न्ड वर्गीकरण का मूल्यांकन कर रहे थे। जब मॉडल से अकेले एक निर्णय माँगा गया, तो उसने सही उत्तर दिया। जब सामान्य पूर्ण आउटपुट सेट माँगा गया — वही इंटरैक्शन, वही मॉडल — तो वह निर्णय बदल गया।

यह पैटर्न हम वर्षों से देखते आ रहे हैं, और हम उस सहज प्रतिक्रिया को भी जानते हैं जो यह उत्पन्न करता है: मॉडल को दोष देना। क्रम बदलें, कोई निर्देश जोड़ें, कार्य को अलग तरह से रूट करें, उसे तर्क-चरणों में तोड़ें, या मॉडल बदल दें। हमने ये स्पष्ट उपाय आज़माए। कुछ से स्थानीय सुधार हुए। लेकिन पूर्ण संयोजन में कोई भी टिक नहीं पाया।

समस्या अर्थ में थी, मॉडल में नहीं

समाधान इस दृष्टिकोण से आया कि प्रॉम्प्ट और उसके माँगे गए आउटपुट को स्वतंत्र निर्देशों के ढेर के बजाय एक ही सिमेंटिक प्रणाली माना जाए। गवर्न्ड परिभाषाएँ एक ही साक्ष्य को एक से अधिक संभावित ठिकाने दे रही थीं — कहीं यह स्पष्ट नहीं था कि जब एक से अधिक परिभाषाएँ एक ही तथ्य पर दावा कर सकती हों, तो कौन-सी परिभाषा आधिकारिक है।

इसलिए हमने प्रॉम्प्ट के शब्दों को नहीं, बल्कि इनपुट को बदला — प्रत्येक परिभाषा के अर्थ और उसके संबंधों को मॉडल के अनुमान पर छोड़ने के बजाय स्पष्ट किया, ताकि एक ही साक्ष्य के लिए अब एक से अधिक ठिकाने न रहें। फिर हमने सामान्य पूर्ण-आउटपुट पथ को दोबारा चलाया। मामला लगातार तीन बार सफल रहा और भ्रामक निर्णय गायब हो गया। वही मॉडल, वही साक्ष्य, कोई विशेष तंत्र नहीं।

इनपुट और आउटपुट एक ही इन्फ़रेंस समस्या हैं

यही वह हिस्सा है जो एक वर्गीकरण से आगे मायने रखता है। एंटरप्राइज़ प्रॉम्प्ट अब सिस्टम निर्देशों, डोमेन परिभाषाओं, उदाहरणों, स्कीमाओं, आउटपुट फ़ील्ड्स, रूब्रिक्स, टूल विवरणों और नीतियों को एक साथ ढेर करते हैं। हम ये अंश अलग-अलग लिखते हैं। मॉडल उन्हें एक साथ पढ़ता है और एक ही समस्या के रूप में हल करता है।

इसलिए विश्वसनीयता शब्द-चयन की समस्या नहीं है। आपको यह गवर्न करना होगा कि हर अवधारणा का क्या अर्थ हो सकता है, किसी तथ्य पर किस अवधारणा का स्वामित्व है, कौन-सा साक्ष्य उसे स्थापित करता है, वह क्या निहित कर सकती है और क्या नहीं, और वह किस विषय में है। माँगे गए आउटपुट उसी प्रणाली का हिस्सा हैं — वे यह आकार देते हैं कि मॉडल आपके दिए गए साक्ष्य को कैसे व्यवस्थित करता है।

एक मामला, एक मॉडल। हमारा दावा यह नहीं है कि हर संयोजन-विफलता सिमेंटिक होती है, या कि आउटपुट संरचना अपने आप में कभी मायने नहीं रखती — हाल का शोध दिखाता है कि स्कीमा और फ़ॉर्मेट के विकल्प मॉडलों को हर हाल में प्रभावित करते हैं। हमारा दावा अधिक संकीर्ण और अधिक उपयोगी है: जब अर्थ का गवर्नेंस खराब हो, तो वह मॉडल की अस्थिरता जैसा दिखाई दे सकता है, और अर्थ को गवर्न करना उसे प्रॉम्प्ट पर पैबंद लगाने के बजाय जड़ से ठीक करता है।

यह गवर्न्ड-इंटेलिजेंस की समस्या क्यों है

यदि वह इंटेलिजेंस महत्वपूर्ण है, तो उसका अर्थ केवल एक प्रॉम्प्ट के भीतर नहीं रह सकता। प्रॉम्प्ट का पाठ बदलता है। मॉडल बदलते हैं। स्कीमाएँ बदलती हैं। रनटाइम बदलते हैं। अर्थ को इन सबसे परे टिकना होगा — यानी उसे एक स्वामित्व-प्राप्त, गवर्न्ड परिसंपत्ति होना होगा, न कि कोई संयोगवश सफल शब्दावली जो पिछले सप्ताह काम कर गई थी।

इसी आवश्यकता को पूरा करने के लिए हमने Metis बनाया। Metis एंटरप्राइज़ इंटेलिजेंस की परिभाषा को ही गवर्न्ड आर्टिफ़ैक्ट मानता है: कोई मानव या AI अर्थ का प्रस्ताव दे सकता है, एक स्वतंत्र स्वीकृति पथ उसका मूल्यांकन करता है, स्वीकृत सिमेंटिक्स प्रॉम्प्ट, स्कीमा, मूल्यांकनकर्ताओं या SQL में प्रक्षेपित होते हैं, और परिणामी इंटेलिजेंस को साक्ष्य के विरुद्ध सत्यापित कर उद्गम-अभिलेख (प्रोवेनेंस) के साथ सुरक्षित रखा जाता है।

इसे सबसे सशक्त समवर्ती कार्य से तुलना करना उपयोगी है। GROUND एंटरप्राइज़ टेक्स्ट-टू-SQL को एक अनुमोदित सिमेंटिक लेयर के विरुद्ध गवर्न करता है — अनुमोदित मेट्रिक्स, डाइमेंशन, जॉइन, ग्रेन, सुरक्षा — और उत्पन्न SQL को चलाने से पहले उसका सत्यापन करता है। यह एक ठोस एनालिटिक्स आर्किटेक्चर है। Metis एक कदम पहले शुरू होता है और एक कदम बाद समाप्त होता है: यह उस सिमेंटिक परिभाषा के निर्माण और स्वीकृति को गवर्न करता है जिससे प्रक्षेपण व्युत्पन्न होते हैं, और SQL, प्रॉम्प्ट, स्कीमा तथा मूल्यांकनकर्ताओं — सभी को एक ही स्थायी परिभाषा के प्रक्षेपण मानता है। यह प्रयोग उसी पहले कदम में स्थित है — किसी भी मॉडल-सम्मुख आर्टिफ़ैक्ट पर भरोसा करने से पहले यह जाँचना कि संयोजित अर्थ सुसंगत है, और फिर इन्फ़रेंस के बाद निर्णय का सत्यापन करना।

एंटरप्राइज़ AI के लिए इसका क्या अर्थ है

माँगे गए आउटपुट को बदलने से विफलता उजागर हुई। सिमेंटिक इनपुट को गवर्न करने से वह ठीक हुई। यहाँ विश्वसनीयता केवल मॉडल का गुण नहीं थी — वह उस सिमेंटिक प्रणाली का गुण थी जो हमने उसे दी और उन आउटपुट का जो हमने उससे माँगे। यह प्रॉम्प्ट-ट्यूनिंग के एक और दौर से कहीं सशक्त परिणाम है, क्योंकि सुधार इंटेलिजेंस की परिभाषा में निवास करता है, न कि किसी एकबारगी पैबंद में जिसे अगला स्कीमा परिवर्तन निष्प्रभावी कर देगा। इनपुट और आउटपुट को एक ही प्रणाली के रूप में गवर्न करें, उस अर्थ को आवश्यक आर्टिफ़ैक्ट्स में प्रक्षेपित करें, और जो वापस आए उसका सत्यापन करें। प्रॉम्प्ट एक निष्पादन सतह है। आपके एंटरप्राइज़ का अभिप्राय क्या है, इसका एकमात्र प्राधिकार उसे नहीं होना चाहिए।

आगे क्या

हम इसे और अधिक मॉडलों तथा वर्कलोड पर NeoSavant Model Observatory के माध्यम से परख रहे हैं, और साक्ष्य के स्थिर (फ़्रोज़न) होते ही प्रकाशित करेंगे। मूल निष्कर्ष उन रन पर निर्भर नहीं है — वे हमें बताएँगे कि यह प्रभाव और उसका सुधार कितनी दूर तक लागू होते हैं।