SaaS के लिए LLM ऑब्ज़र्वेबिलिटी: ट्रेस, मेट्रिक और निजता
प्रॉम्प्ट, ग्राहक डेटा और टेनेंट पहचान सुरक्षित रखते हुए AI फीचर में समय, टोकन, टूल और विफलता समझने के लिए ट्रेस तथा मेट्रिक जोड़ें।
इस मार्गदर्शिका में
LLM ऑब्ज़र्वेबिलिटी में क्या मापना चाहिए?
LLM ऑब्ज़र्वेबिलिटी एक ग्राहक अनुरोध को उसके नतीजे बनाने वाली मॉडल कॉल, रिट्रीवल, टूल कार्रवाई और ऐप निर्णय से जोड़ती है। एक अनुरोध के ट्रेस और विश्वसनीयता, समय, उपयोग तथा परिणाम समझाने वाले मेट्रिक से शुरू करें। धीमी या विफल परत ढूँढ़ने लायक मेटाडेटा रखें, लेकिन पूरे प्रॉम्प्ट, उत्तर या खोजे दस्तावेज़ डिफ़ॉल्ट रूप से जमा न करें: AI टेलीमेट्री में संवेदनशील ग्राहक डेटा हो सकता है और वह अलग निजता जोखिम बन सकती है।
मॉडल, रिट्रीवल और टूल सीमा पर हर अनुरोध ट्रेस करें
उपयोगकर्ता को दिखने वाले ऑपरेशन के लिए मूल ट्रेस और मॉडल कॉल, रिट्रीवल, reranking, moderation, टूल, रीट्राई तथा आउटपुट प्रोसेसिंग के लिए उप-ट्रेस बनाएँ। अवधि, नतीजा, उपलब्ध हो तो मॉडल या प्रदाता पहचान, टोकन उपयोग, रीट्राई संख्या और सहसंबंध ID दर्ज करें। इससे कुल अनुरोध समय देखकर अनुमान लगाने के बजाय पता चलेगा कि धीमी रिट्रीवल थी, प्रदाता या टूल कॉल।
सेवा स्वास्थ्य और उत्पाद नतीजे अलग मापें
अनुरोध संख्या, त्रुटि और टाइमआउट, विलंब वितरण, रद्द करना, अनुमानित टोकन और खर्च, क्यू गहराई, अस्वीकार दर तथा गुणवत्ता या उपयोगकर्ता प्रतिक्रिया मापें। तकनीकी सफलता और काम पूरा होने को अलग रखें: HTTP 200 में भी अनुपयोगी उत्तर हो सकता है। डैशबोर्ड का मालिक और कार्रवाई तय करें; हर मामूली बदलाव पर अलर्ट न करें।
साझा नामकरण अपनाएँ और उसका संस्करण पिन करें
OpenTelemetry के semantic conventions से अलग instrumentations और backends में मॉडल, ऑपरेशन और टोकन विशेषताओं को जोड़ना आसान हो सकता है। GenAI conventions बदल रहे हैं; convention और instrumentation संस्करण दर्ज करें, opt-in फ़ील्ड चालू करने से पहले उनकी समीक्षा करें और upgrade से पहले बदलाव नोट पढ़ें। बिना fallback के undocumented प्रदाता फ़ील्ड पर डैशबोर्ड निर्भर न बनाएँ।
| संकेत/स्पैन | परिचालन सवाल | जरूरी फ़ील्ड | संवेदनशील डेटा जोखिम | मालिक और अवधि |
|---|---|---|---|---|
AI ट्रेस में ग्राहक की निजता कैसे सुरक्षित रखें?
प्रॉम्प्ट और उत्तर रिकॉर्ड करना उद्देश्य के लिए वैकल्पिक रखें
कंटेंट रिकॉर्डिंग डिफ़ॉल्ट रूप से बंद रखें, जब तक लिखित debugging, गुणवत्ता या कानूनी उद्देश्य जरूरी न हो। मेटाडेटा, छिपाए गए उदाहरण या अलग अनुमति वाला मूल्यांकन नमूना पसंद करें। सामग्री रिकॉर्ड हो तो उद्देश्य बताएँ, पहुँच कम रखें, अवधि छोटी तय करें और प्रदाता की टेलीमेट्री सेटिंग तथा अनुबंध उत्पाद के वादे से मिलाएँ।
निर्यात से पहले सीक्रेट और निजी जानकारी छिपाएँ
टेलीमेट्री सेवा से बाहर जाने से पहले authorization header, API key, session token, पासवर्ड, भुगतान विवरण और गैर-ज़रूरी पहचान हटाएँ। केवल शुरुआती प्रॉम्प्ट नहीं, टूल तर्क, अपवाद, रिट्रीवल सामग्री और मॉडल उत्तर भी साफ करें। नकली पर वास्तविक जैसे उदाहरणों से redaction जाँचें; छूटा फ़ील्ड कई ऑब्ज़र्वेबिलिटी सिस्टम में रह सकता है।
व्यापक मेट्रिक लेबल में टेनेंट पहचान न रखें
साझा मेट्रिक के लिए उत्पाद फीचर, मॉडल मार्ग, क्षेत्र और परिणाम जैसे कम संख्या वाले आयाम रखें। कच्चे टेनेंट ID, उपयोगकर्ता ID या प्रॉम्प्ट पाठ को लेबल न बनाएँ; इससे बहुत अधिक श्रृंखलाएँ और ग्राहक डेटा का खुलासा हो सकता है। जरूरी टेनेंट जाँच को सीमित पहुँच वाले ट्रेस या अलग ऑडिट भंडार में रखें।
घटना के समय AI ट्रेस का उपयोग कैसे करें?
सहसंबंध ID आगे पहुँचाएँ, पर उसे पहचान न मानें
जहाँ संभव हो, ऐप और प्रदाता सीमा के पार अनुरोध ID ले जाएँ ताकि अपनी स्पैन जोड़ी जा सके। ID में सीक्रेट या निजी जानकारी न रखें; क्लाइंट से आया सहसंबंध मान प्रमाणीकरण या टेनेंट अनुमति नहीं है। विश्वसनीय पहचान संदर्भ को परिचालन ट्रेस से अलग रखें।
रुझानों पर अलर्ट दें और उपयोगी जाँच ट्रेल रखें
प्रदाता त्रुटियाँ, विलंब बदलाव, असामान्य टोकन उपयोग, बार-बार रीट्राई, गायब रिट्रीवल नतीजे और टूल अस्वीकृति में उछाल देखें। कार्रवाई का क्रम और नीति नतीजा समझने लायक फ़ील्ड रखें, फिर लंबे इवेंट का नमूना लें या सामग्री हटाएँ। Instrumentation बदलाव के बाद डैशबोर्ड और अलर्ट जाँचें ताकि गायब टेलीमेट्री को स्वस्थ सेवा न समझा जाए।
टेलीमेट्री सिस्टम में पहुँच और मिटाना भी जाँचें
ट्रेस केवल परिचालन जरूरत वाले लोगों को दें, संवेदनशील खोज का ऑडिट रखें और collector, dashboard, export तथा backup में मिटाने की अवधि तय करें। सुनिश्चित करें कि ग्राहक डेटा हटाने या रखने के अनुरोध का असर ऑब्ज़र्वेबिलिटी वास्तुकला पर भी हो। पूरे रास्ते का परीक्षण करें; UI से एक पंक्ति मिटाने पर क्यू या आर्काइव की प्रति बच सकती है।
LLM ऑब्ज़र्वेबिलिटी के आम सवाल
क्या हर प्रॉम्प्ट और उत्तर लॉग करना चाहिए?
नहीं। परिचालन मेटाडेटा से शुरू करें; सामग्री केवल लिखित उद्देश्य, डेटा-कमी, पहुँच नियंत्रण, सूचना और अवधि के साथ रखें। पूरी बातचीत में ग्राहक सीक्रेट और निजी जानकारी हो सकती है।
SaaS टीम को पहले कौन-से LLM मेट्रिक देखने चाहिए?
अनुरोध संख्या, सफलता और त्रुटि दर, विलंब, टाइमआउट और रद्दीकरण, टोकन या खर्च तथा उपयोगकर्ता के काम से जुड़ा परिणाम देखें। वही अतिरिक्त आयाम जोड़ें जिनसे स्पष्ट परिचालन कार्रवाई हो सकती है।
क्या OpenTelemetry का GenAI convention स्थिर है?
ये conventions लगातार बदल रहे हैं। मौजूदा विनिर्देश और instrumentation संस्करण जाँचें, अपनी टेलीमेट्री दर्ज करें और upgrade से पहले बदलाव देखें। मानकर न चलें कि विशेषता का नाम या डिफ़ॉल्ट स्थिर रहेगा।
क्या ट्रेस ID अनुरोध करने वाले ग्राहक की पहचान है?
ट्रेस ID ऑपरेशन जोड़ने में मदद करता है; वह उपयोगकर्ता पहचान या अनुमति जाँच नहीं है। प्राधिकरण पहचान को विश्वसनीय, पहुँच-नियंत्रित ऐप संदर्भ में रखें।
संबंधित व्यावहारिक मार्गदर्शिकाएँ
संबंधित मुद्दों की मार्गदर्शिकाएँ
स्रोत और प्रकाशन रिकॉर्ड
मसौदा 27 सितंबर 2026 को तैयार; इंजीनियरिंग, सुरक्षा और संपादकीय समीक्षा लंबित · स्रोत जाँचे गए .