रनटाइम पर अनियंत्रित AI एजेंट का पता लगाएँ और रोकें
रनटाइम नीति, कार्रवाई निगरानी, सीमित अनुमति रद्दीकरण और घटना ट्रेस से अनियंत्रित AI एजेंट पहचानें और रोकें।
इस मार्गदर्शिका में
SaaS टीम अनियंत्रित AI एजेंट को कैसे पहचानकर रोक सकती है?
अनियंत्रित एजेंट को रनटाइम व्यवहार और शासन की समस्या मानें: एजेंट स्वीकृत काम से भटक सकता है, दी गई अनुमति का गलत उपयोग कर सकता है, दुर्भावनापूर्ण निर्देश मान सकता है या असुरक्षित संदर्भ के बाद भी जारी रह सकता है। हर एजेंट की अनुमति तय करें, उसके असली टूल और डेटा उपयोग को देखें, व्यवहार को लागू की जा सकने वाली नीति से मिलाएँ और रोकने या अधिकार रद्द करने का तरीका रखें। मॉडल का आत्मविश्वासी स्पष्टीकरण इस बात का प्रमाण नहीं कि कार्रवाई अधिकृत या सुरक्षित थी।
लागू करने योग्य व्यवहार और अधिकार आधार लिखें
हर एजेंट का उद्देश्य, मालिक, मंजूर मॉडल और टूल, अनुमत डेटा, टेनेंट दायरा, साइड इफेक्ट, खर्च सीमा और मानवीय मंजूरी बिंदु दर्ज करें। जहाँ संभव हो इन्हें सर्वर-साइड नीति में बदलें। आधार का संस्करण और समीक्षा रखें; प्रॉम्प्ट या उत्पाद विवरण लागू करने का नियंत्रण नहीं है और मॉडल उन्हें अनदेखा कर सकता है।
विश्वास सीमाओं पर कार्रवाई देखें
मॉडल मार्ग, टूल कॉल, डेटा पहुँच, सौंपे गए काम, अनुमति बदलाव और बाहरी प्रभाव का इंस्ट्रूमेंटेशन करें। कर्ता या वर्कलोड पहचान, टेनेंट, नीति संस्करण, अनुमति या अस्वीकृति का कारण, लक्ष्य का प्रकार, समय और परिणाम दर्ज करें। कच्ची सामग्री कम रखें, अवधि तय करें और ट्रेस तक पहुँच सीमित करें; कार्रवाई का प्रमाण चाहिए, ग्राहक प्रॉम्प्ट और रिकॉर्ड का अंधाधुंध संग्रह नहीं।
केवल मॉडल के शब्द नहीं, महत्वपूर्ण विचलन पहचानें
नीति तोड़ने वाली या मंजूर रूपरेखा से काफी अलग कार्रवाई पर चेतावनी दें: अनपेक्षित टूल, टेनेंट के बाहर पहुँच, असामान्य अधिकार माँगना, बहुत अधिक कॉल, बार-बार अस्वीकृति, अनस्वीकृत गंतव्य या रद्द करने के बाद काम। निश्चित नीति जाँच को असामान्यता संकेतों के साथ जोड़ें। मॉडल वर्गीकरण या आत्म-रिपोर्ट जाँच में सहायक हो सकती है, लेकिन प्रभावशाली कार्रवाई की अकेली रोक नहीं होनी चाहिए।
| एजेंट और मालिक | स्वीकृत टूल/डेटा | निगरानी संकेत | रोकने/रद्द करने का नियंत्रण | पुनर्प्राप्ति और समीक्षा |
|---|---|---|---|---|
कौन-से रनटाइम नियंत्रण अनियंत्रित एजेंट का असर घटाते हैं?
हर टूल सीमा पर न्यूनतम अधिकार लागू करें
मौजूदा काम और टेनेंट के लिए सीमित तथा कम अवधि का अधिकार दें। टूल सेवा हर कॉल पर प्रमाणित प्रधान पहचान, ऑब्जेक्ट अनुमति, कार्रवाई और मौजूदा नीति जाँचे। संवेदनशील बदलाव की मंजूरी मॉडल से बाहर रखें और काम खत्म होने, उपयोगकर्ता की पहुँच हटने या जोखिम दिखने पर प्रतिनिधि अधिकार रद्द करें।
बजट और स्वतंत्र सीमाएँ लागू करें
विश्वसनीय इंफ्रास्ट्रक्चर में कुल समय, खर्च, टूल कॉल, एजेंट हस्तांतरण, डेटा मात्रा और समवर्ती काम सीमित करें। जहाँ संभव हो रद्द करने से क्यू और डाउनस्ट्रीम काम भी रुके। एजेंट अपना मॉनिटर बंद, अपना अधिकार बढ़ा या अपना अपवाद मंजूर न कर सके; नीति प्रशासन और रनटाइम पहचान अलग रखें।
कार्रवाई को निरीक्षण योग्य और ट्रेसेबल रखें
अनुरोध को एजेंट पहचान, दिए अधिकार, नीति निर्णय, टूल, डाउनस्ट्रीम परिणाम और जरूरत पर मानवीय मंजूरी से जोड़ता सुरक्षित, छेड़छाड़-प्रतिरोधी रिकॉर्ड रखें। सेवाओं में सहसंबंध ID और नीति या मॉडल कॉन्फ़िगरेशन संस्करण दर्ज करें। संवेदनशील मान व्यापक टेलीमेट्री से बाहर रखें और अधिकृत जवाबकर्ताओं को आवश्यक प्रमाण तक पहुँचने की प्रक्रिया बताएँ।
एजेंट रोकने की घटना प्रक्रिया में क्या होना चाहिए?
प्रभावित सीमा पर रास्ता रोकें
किसी एक एजेंट को रोकने, उसके क्रेडेंशियल रद्द करने, टूल बंद करने, मॉडल मार्ग रोकने या टेनेंट वर्कफ़्लो अलग रखने के परखे नियंत्रण दें। क्यू के काम रद्द करें और रीट्राई से वही असुरक्षित रास्ता फिर शुरू न हो। जहाँ संभव हो सबसे सीमित असर वाला कदम चुनें, और व्यापक घटना के लिए आपात वैश्विक रोक भी रखें।
कार्रवाई का दायरा और ग्राहक पर असर तय करें
ट्रेस से पता करें कि कौन-सा डेटा पढ़ा, कौन-से बदलाव पूरे या प्रयास किए गए, कौन-से बाहरी संदेश गए, किन एजेंटों को काम सौंपा और कौन-से टेनेंट प्रभावित हुए। दोबारा प्रयास या भरपाई से पहले डाउनस्ट्रीम रिकॉर्ड मिलाएँ; प्रमाण सुरक्षित रखें और संगठन की घटना, गोपनीयता तथा ग्राहक सूचना प्रक्रियाएँ अपनाएँ। एजेंट के अंतिम सारांश को हर साइड इफेक्ट का पूरा रिकॉर्ड न मानें।
कारण पर नियंत्रण के बाद ही सेवा बहाल करें
देखें कि कारण प्रॉम्प्ट या मेमोरी से छेड़छाड़, टूल दोष, नीति भटकाव, क्रेडेंशियल खुलना, मॉडल बदलाव या ऑर्केस्ट्रेशन लूप था। लागू करने वाली सीमा ठीक करें, उजागर सीक्रेट बदलें और प्रतिगमन जाँच या अभ्यास जोड़ें। सीमित दायरे और निगरानी के साथ सेवा चालू करें; संगठन की प्रक्रिया के तहत जवाबदेह मालिक से बहाली मंजूर कराएँ।
अनियंत्रित AI एजेंट पहचान के आम सवाल
सुरक्षा में अनियंत्रित AI एजेंट का क्या अर्थ है?
ऐसा एजेंट जो अपने स्वीकृत काम, नीति या शासन नियंत्रण से बाहर चले—जैसे असुरक्षित भटकाव, दिए अधिकार का गलत उपयोग या रुकने के बाद भी जारी रहना।
क्या निगरानी मॉडल तय कर सकता है कि दूसरा एजेंट सुरक्षित है?
वह उपयोगी संकेत दे सकता है, लेकिन अनुमति और कठोर सीमाएँ विश्वसनीय कोड में लागू करें। मॉडल गलत, प्रभावित या अनुपलब्ध हो सकता है; महत्वपूर्ण कार्रवाई की अकेली रोक उस पर न रखें।
जवाबकर्ता पहले क्या बंद करें?
प्रभावित एजेंट या क्षमता रोकें, उजागर अधिकार रद्द करें और लंबित काम को सबसे सीमित प्रभाव वाली सीमा पर रद्द करें। ट्रेस से पुष्टि करें कि डाउनस्ट्रीम काम सच में रुका है।
क्या दर्ज आधार के बिना रनटाइम निगरानी काफी है?
नहीं। व्यवहार सीमा से बाहर है या नहीं तय करने और लागू नियंत्रण चुनने के लिए मंजूर उद्देश्य, दायरा, टूल, सीमा और मालिक चाहिए।
संबंधित व्यावहारिक मार्गदर्शिकाएँ
संबंधित मुद्दों की मार्गदर्शिकाएँ
स्रोत और प्रकाशन रिकॉर्ड
मसौदा 27 सितंबर 2026 को तैयार; इंजीनियरिंग, सुरक्षा और संपादकीय समीक्षा लंबित · स्रोत जाँचे गए .