AI क्रॉलर के लिए robots.txt निर्णय फ्रेमवर्क

लेखक Zakaria Reziki

सीईओ — Growli · 30 सितंबर 2026 · 6 मिनट का पठन

Zakaria Reziki के तय संपादकीय मानकों के तहत AI की मदद से लिखा गया, और स्रोत तथा गुणवत्ता की स्वचालित जाँच के बाद प्रकाशित।

मुख्य बातें

robots.txt एक असली, मानकीकृत फॉर्मैट है, किसी एक कंपनी की चाल नहीं — यह IETF के RFC 9309, यानी रोबोट्स एक्सक्लूज़न प्रोटोकॉल, में परिभाषित है, और हर बड़ा AI क्रॉलर इसका पालन करने का दावा करता है।
तीन सवाल तय करते हैं कि आपकी नीति क्या होगी, न कि याद रखने लायक बॉट्स की सूची: क्या आप चाहते हैं कि AI के जवाबों में आपका ज़िक्र हो, क्या यह कंटेंट आपको सीधे पैसा कमाकर देता है, और क्या आप आज लिखी गई इस फ़ाइल को वाकई बनाए रख सकते हैं।
यही तीन सवाल अलग-अलग तरह के व्यवसायों के लिए अलग-अलग जवाब देते हैं। एक स्थानीय प्लंबर, अपने दस्तावेज़ों की रक्षा करने वाली एक SaaS कंपनी, और एक समाचार प्रकाशक — हर कोई एक अलग, लेकिन उतना ही तार्किक जवाब पाता है।
ट्रेनिंग और जवाब देना दो अलग फ़ैसले हैं, क्योंकि Google के अपने दस्तावेज़ और दूसरे बड़े ऑपरेटर अपने बॉट्स को इसी तरह बांटते हैं — आपको हर चीज़ के लिए एक ही सामान्य नियम चुनने की ज़रूरत नहीं है।

AI क्रॉलर के लिए सही robots.txt नीति बॉट नामों की अनुमति या रोक की सूची नहीं है — यह तीन सवालों का जवाब है जिन्हें कोई भी व्यवसाय मालिक दस मिनट में सुलझा सकता है: क्या आप चाहते हैं कि AI असिस्टेंट्स आपकी सिफारिश करें, क्या यह खास कंटेंट आपको सीधे पैसा कमाकर देता है, और क्या आप नए क्रॉलर आने के साथ इस फ़ाइल को अपडेट रख पाएंगे। इस विषय पर ज़्यादातर गाइड आपको बॉट नामों की एक तालिका थमा देती हैं, हर एक के लिए सुझाए गए नियम के साथ, जो किसी नए क्रॉलर के लॉन्च होते ही पुरानी पड़ जाती है।

यह लेख इसके बजाय आपको इसके पीछे का फ्रेमवर्क देता है, फिर इसे तीन अलग-अलग तरह के व्यवसायों पर लागू करता है, ताकि अगले साल जो भी नया क्रॉलर सामने आए, आप उसी तर्क का इस्तेमाल कर सकें।

robots.txt का संक्षिप्त परिचय: एक असली मानक, सिर्फ सुझाव नहीं

robots.txt एक वेबसाइट के रूट में एक प्लेन-टेक्स्ट फ़ाइल है जो आने वाले सॉफ्टवेयर को बताती है कि वह साइट के किन हिस्सों को क्रॉल कर सकता है और किन्हें नहीं। यह Google का खुद का आविष्कार नहीं है — यह रोबोट्स एक्सक्लूज़न प्रोटोकॉल, RFC 9309 के रूप में औपचारिक रूप से मानकीकृत है, जिसे इंटरनेट इंजीनियरिंग टास्क फ़ोर्स ने प्रकाशित किया है — वह संस्था जो इंटरनेट के बुनियादी ढांचे के काम करने के तरीके को मानकीकृत करती है।

हर बड़ा AI क्रॉलर ऑपरेटर कहता है कि उसके ऑटोमेटेड क्रॉलिंग बॉट इस फ़ाइल का सम्मान करते हैं — GPTBot और OAI-SearchBot के लिए OpenAI, ClaudeBot और Claude-SearchBot के लिए Anthropic, और PerplexityBot के लिए Perplexity — ये सभी अपने-अपने दस्तावेज़ों में यह कहते हैं। यूज़र-ट्रिगर्ड बॉट्स — ChatGPT-User, Claude-User, Perplexity-User — इसका अपवाद हैं, क्योंकि वे किसी खास व्यक्ति के सीधे अनुरोध पर काम करते हैं।

सवाल एक: क्या आप चाहते हैं कि AI असिस्टेंट्स आपकी सिफारिश करें?

यह स्पष्ट लगता है, लेकिन इसे साफ़ कहना ज़रूरी है क्योंकि ईमानदार जवाब हर व्यवसाय के लिए अलग होता है। एक डेंटिस्ट, एक प्लंबर, एक स्थानीय रेस्टोरेंट — लगभग हर वह व्यवसाय जिसके ग्राहक दोस्तों से, और अब तेज़ी से AI असिस्टेंट्स से, "मुझे किसे बुलाना चाहिए" पूछते हैं — आमतौर पर चाहता है कि जवाब हां हो। जो व्यवसाय एक्सक्लूसिविटी या बेहद नियंत्रित बिक्री प्रक्रिया पर बना है, उसके पास ना कहने के वाकई ठोस कारण हो सकते हैं।

अगर जवाब हां है, तो यह उन क्रॉलर्स को अनुमति देने की ओर इशारा करता है जो असिस्टेंट के जवाबों को ताकत देते हैं: ट्रेनिंग क्रॉलर जो किसी मॉडल को आपके अस्तित्व के बारे में सिखाते हैं, और सर्च-जैसे क्रॉलर जो उसे सीधे आपका हवाला देने देते हैं।

यह फ्रेमवर्क

तीन सवाल, क्रम में

1. क्या मैं चाहता हूं कि AI असिस्टेंट्स मेरी सिफारिश करें?
ज़्यादातर कंज़्यूमर और लोकल बिज़नेस हां कहते हैं।
2. क्या यह कंटेंट मुझे सीधे पैसा कमाकर देता है?
मार्केटिंग पेज आमतौर पर यहां ना कहते हैं; पेड या प्रोप्राइटरी कंटेंट आमतौर पर हां कहता है।
3. क्या मैं वाकई इस नीति को बनाए रख सकता हूं?
अपडेट रखा गया एक सरल नियम उस विस्तृत सेट से बेहतर है जिसे कोई दोबारा नहीं देखता।

सवाल दो: क्या यह कंटेंट आपको सीधे पैसा कमाकर देता है?

कुछ कंटेंट सिर्फ खोजे और पढ़े जाने के लिए होता है — एक सर्विसेज़ पेज, एक ब्लॉग पोस्ट, एक FAQ। दूसरा कंटेंट खुद ही प्रोडक्ट होता है: एक प्रकाशक के सब्सक्राइबर-ओनली आर्टिकल, एक SaaS कंपनी के प्रीमियम दस्तावेज़, एक मार्केटप्लेस की विस्तृत लिस्टिंग्स। दूसरी श्रेणी के कंटेंट को ज़्यादा सावधान जवाब की ज़रूरत है, क्योंकि उसे किसी और के मॉडल को ट्रेन करने देना वही है जो आप बेचने की कोशिश कर रहे हैं उसे मुफ़्त में दे देना, उसका प्रचार करने के बजाय।

यह सवाल अक्सर एक ही वेबसाइट को दो अलग जवाबों में बांट देता है: मार्केटिंग पेज क्रॉलिंग को हां कहते हैं, और पेड या प्रोप्राइटरी कंटेंट ना कहता है — जो पूरी तरह वैध है, क्योंकि robots.txt के नियम खास रास्तों के लिए लिखे जा सकते हैं, सिर्फ पूरी साइट के लिए नहीं।

सवाल तीन: क्या आप इसे वाकई बनाए रख सकते हैं?

एक robots.txt फ़ाइल जो आज दस खास बॉट्स का नाम लेती है, उस दिन पुरानी पड़ जाएगी जिस दिन ग्यारहवां बॉट लॉन्च होगा। अगर आपकी टीम में कोई हर कुछ महीनों में इस फ़ाइल को दोबारा नहीं देखेगा, तो एक सरल और ज़्यादा टिकाऊ नीति — अच्छी तरह दस्तावेज़ीकृत बड़े क्रॉलर्स को एक श्रेणी के रूप में अनुमति देना, साल में दो बार समीक्षा करना — किसी ऐसे विस्तृत नियमों के सेट से बेहतर है जिसे कोई बनाए नहीं रखता।

अपनी असल मेंटेनेंस क्षमता के बारे में यथार्थवादी होना कोई समझौता नहीं है; एक ऐसी नीति जिसे आप वाकई अपडेट रख सकते हैं, वह उस महत्वाकांक्षी नीति से बेहतर सुरक्षा देती है जो एक साल में पुरानी पड़ जाती है।

इस फ्रेमवर्क को तीन असली व्यवसायों पर लागू करना

एक स्थानीय प्लंबर सवाल एक का जवाब हां में देता है (AI सिफारिशें चाहता है), सवाल दो लगभग लागू ही नहीं होता (एक सर्विसेज़ पेज गुप्त रहकर कुछ नहीं कमाता), और सवाल तीन आसान है (बनाए रखने के लिए कम ही कुछ है)। फ्रेमवर्क साफ़ तौर पर इस नतीजे पर पहुंचता है: बड़े क्रॉलर्स को व्यापक रूप से अनुमति दें।

एक SaaS कंपनी अपनी मार्केटिंग साइट और पब्लिक ब्लॉग के लिए सवाल एक का जवाब हां में देती है, लेकिन अपने प्रीमियम दस्तावेज़ों और प्रोडक्ट-में-निर्मित हेल्प कंटेंट के लिए, जिसकी पहुंच वह बेचती है, सवाल दो का सावधान ना देती है। उसका robots.txt अंततः एक ही डोमेन के दो अलग हिस्सों के लिए दो अलग नियमों पर पहुंचता है — मार्केटिंग पेज खुले, पेड दस्तावेज़ बंद।

एक समाचार प्रकाशक अक्सर सबसे बारीक जवाब देता है: अपने मुफ़्त आर्टिकल्स के लिए सवाल एक का हां, क्योंकि साइटेशंस पाठकों के बीच असली जागरूकता बढ़ाते हैं, लेकिन अपने पेड इन्वेस्टिगेटिव काम के लिए सवाल दो का पक्का ना, जिस पर उसका व्यवसाय टिका है। चूंकि Google-Extended और अन्य कंपनियों में उसके समकक्ष ट्रेनिंग को सर्च विज़िबिलिटी से अलग करते हैं, एक प्रकाशक तर्कसंगत रूप से अपने मुफ़्त कंटेंट की सर्च-स्टाइल क्रॉलिंग की अनुमति दे सकता है जबकि यह मना करना जारी रख सकता है कि उसी कंटेंट का इस्तेमाल मॉडल्स को ट्रेन करने के लिए हो।

लागू किया गया उदाहरण

एक ही फ्रेमवर्क अलग नतीजों पर कैसे पहुंचता है

स्थानीय प्लंबर
बड़े क्रॉलर्स को व्यापक रूप से अनुमति दें — बचाने के लिए कुछ नहीं, पाने के लिए सब कुछ।
SaaS कंपनी
मार्केटिंग पेज खुले, प्रीमियम दस्तावेज़ बंद।
समाचार प्रकाशक
मुफ़्त आर्टिकल्स की सर्च-स्टाइल क्रॉलिंग की अनुमति दें; पेड काम पर ट्रेनिंग को रोकें।

देखें कि AI आपके कारोबार के बारे में क्या कहता है

Growli ChatGPT, Gemini, Claude और Perplexity के जवाबों में आपकी हिस्सेदारी मापता है — और हर कमी को प्राथमिकता वाली कार्रवाइयों में बदल देता है।

शुरू करें

FAQ

यह एक स्वैच्छिक मानक है — RFC 9309 फ़ॉर्मैट को परिभाषित करता है, लेकिन कुछ भी किसी क्रॉलर को शारीरिक रूप से इसका पालन करने पर मजबूर नहीं करता। हर बड़ा AI क्रॉलर ऑपरेटर अपने दस्तावेज़ों में कहता है कि उसके ऑटोमेटेड बॉट्स robots.txt का सम्मान करते हैं, और इस फ़ाइल के ज़रिए रोकना या अनुमति देना साइट मालिकों द्वारा अपनी इच्छा व्यक्त करने का मानक और स्वीकृत तरीका है।

ज़रूरी नहीं। एक अनजान बॉट को ऑटोमैटिक ब्लॉक के बजाय उस कंपनी के दस्तावेज़ों की जल्दी जांच करनी चाहिए — इस लेख का फ्रेमवर्क (क्या मुझे सिफारिश चाहिए, क्या यह कंटेंट सीधे पैसा कमाता है, क्या मैं इसे बनाए रख सकता हूं) किसी भी क्रॉलर पर लागू होता है, चाहे जाना-पहचाना हो या नया।

हां। robots.txt के नियम रास्ते के हिसाब से लागू होते हैं, इसलिए एक ही डोमेन पर एक मार्केटिंग साइट और एक पेड प्रोडक्ट एरिया के पास पूरी तरह अलग क्रॉलिंग अनुमतियां हो सकती हैं, जैसा ऊपर SaaS उदाहरण में दिखाया गया है।

ज़्यादातर छोटे और मध्यम व्यवसायों के लिए साल में दो बार एक उचित डिफ़ॉल्ट है — नए बड़े क्रॉलर्स को पकड़ने के लिए पर्याप्त बार-बार, और वाकई बनाए रखने लायक बने रहने के लिए पर्याप्त कम बार।

नहीं — पहुंच की अनुमति देना ज़रूरी है लेकिन पर्याप्त नहीं। क्रॉल होने का मतलब सिर्फ इतना है कि कोई बॉट आपका कंटेंट पढ़ पाया; असिस्टेंट वाकई आपका हवाला देता है या नहीं, यह इस पर निर्भर करता है कि उसे वहां क्या मिलता है। हमारी [क्रॉल होने लेकिन कभी साइटेड न होने की गाइड](https://growli.xyz/blog/crawled-but-not-cited-by-ai) इस अंतर को कवर करती है।