AI क्रॉलर समझाए गए: GPTBot, ClaudeBot, PerplexityBot और बाकी सब
लेखक Zakaria Reziki
सीईओ — Growli · 25 सितंबर 2026 · 9 मिनट का पठन
Zakaria Reziki के तय संपादकीय मानकों के तहत AI की मदद से लिखा गया, और स्रोत तथा गुणवत्ता की स्वचालित जाँच के बाद प्रकाशित।
AI क्रॉलर एक छोटा प्रोग्राम है जिसे कोई AI कंपनी वेब पेज देखने के लिए चलाती है, ठीक वैसे जैसे कोई डाकिया पतों की एक लिस्ट पर घूमता है — बस फ़र्क़ यह है कि यह डाकिया पेज पर जो लिखा है उसे पढ़ता भी है और उसकी एक कॉपी भी ले जाता है। अगर आपने कभी अपनी वेबसाइट के विज़िटर लॉग में किसी असली विज़िटर के बगल में "GPTBot" या "ClaudeBot" जैसा नाम देखा है, तो वह इन्हीं प्रोग्रामों में से एक था — और यह जानना अच्छा है कि वह वहाँ क्या कर रहा था।
ज़्यादातर साइट मालिकों ने इनमें से एक-दो नाम सुने होंगे और मान लेते हैं कि सब एक जैसे काम करते हैं। ऐसा नहीं है। कुछ बॉट वह लंबी अवधि का ज्ञान बनाते हैं जिस पर कोई मॉडल ट्रेन हुआ; बाकी सिर्फ़ उस सेकंड में एक पेज लाते हैं जब कोई ग्राहक ChatGPT या Perplexity में सवाल टाइप करता है। इन दोनों को गड्डमड्ड करना उस सबसे आम गलती की वजह बनता है जो हम देखते हैं: कोई बिज़नेस robots.txt — वह छोटी टेक्स्ट फ़ाइल जो ऑटोमेटेड विज़िटर को बताती है कि वे साइट के किस हिस्से को पढ़ सकते हैं — में "AI बॉट" को पूरी तरह ब्लॉक कर देता है, यह सोचकर कि वह अपने कंटेंट की रक्षा कर रहा है, और इसके बजाय खुद को सिफ़ारिश किए जाने के लायक ही नहीं छोड़ता।
यह गाइड आज तीन बड़े असिस्टेंट बनाने वाली कंपनियों के हर दस्तावेज़ीकृत बॉट का नाम सीधी भाषा में देती है, साथ में एक स्रोत जिसे आप खुद जाँच सकते हैं — ताकि यह फ़ैसला जान-बूझकर हो, गलती से नहीं।
बॉट, एक-एक कंपनी करके
robots.txt को किसी दुकान के दरवाज़े पर लगे बोर्ड की तरह सोचिए: "डिलीवरी पीछे से, ग्राहकों का सामने से स्वागत है।" यह तभी काम करता है जब हर विज़िटर बोर्ड पढ़े — और तभी विज़िटर को समूहों में बाँटता है जब आपको पता हो कि कौन-सा बोर्ड किस पर लागू होता है। यहाँ हैं वे जो असल में दरवाज़ा खटखटा रहे हैं।
OpenAI चार अलग बॉट दस्तावेज़ीकृत करता है। GPTBot अपने मॉडल को ट्रेन और बेहतर बनाने में मदद के लिए टेक्स्ट इकट्ठा करता है — यह वैसा ही है जैसे कोई शोधकर्ता लाइब्रेरी में किताबें पढ़कर समझदार बने, किसी ख़ास सवाल का जवाब देने के लिए नहीं। OAI-SearchBot अलग है: यह पेज क्रॉल करता है ताकि ChatGPT का सर्च फ़ीचर उन्हें ढूँढ़ और उद्धृत कर सके जब यूज़र कुछ पूछे — यह भूमिका उस सर्च इंजन जैसी है जो वेब को इंडेक्स करता है। ChatGPT-User ठीक उसी पल किसी पेज पर आता है जब कोई इंसान ChatGPT से बात कर रहा होता है और असिस्टेंट को लाइव कुछ जाँचना पड़ता है — सोचिए एक दुकानदार ग्राहक के सामने ही पीछे जाकर देख रहा हो कि कोई सामान स्टॉक में है या नहीं। OAI-AdsBot जाँचता है कि ChatGPT में विज्ञापन के तौर पर भेजे गए पेज सुझाने लायक सुरक्षित हैं। OpenAI अपनी डेवलपर साइट पर चारों बॉट और robots.txt के प्रति उनके व्यवहार का दस्तावेज़ीकरण करता है।
Anthropic (Claude के पीछे की कंपनी) तीन चलाती है। ClaudeBot मॉडल ट्रेनिंग के लिए पेज इकट्ठा करता है, GPTBot जैसी ही लाइब्रेरी-पढ़ाई वाली भूमिका। Claude-SearchBot पेज क्रॉल करता है ताकि Claude अपने सर्च नतीजों में जो ढूँढ़ और उद्धृत कर सके वह बेहतर हो। Claude-User उसी पल एक ख़ास पेज लाता है जब Claude का कोई यूज़र उसके बारे में पूछता है — ChatGPT-User जैसा ही "ग्राहक के सामने जाँच" वाला व्यवहार। Anthropic अपने हेल्प सेंटर में तीनों बॉट और हर एक को नियंत्रित करने का तरीका बताता है।
Perplexity सिर्फ़ दो पर टिका है। PerplexityBot पेज क्रॉल और इंडेक्स करता है ताकि Perplexity के जवाब उनसे लिंक कर सकें — फिर वही इंडेक्सिंग वाली भूमिका। Perplexity-User किसी यूज़र की ओर से, उसी पल जब कोई सवाल उसकी माँग करता है, लाइव एक पेज लाता है। Perplexity की अपनी डॉक्यूमेंटेशन दोनों के नाम बताती है और फ़र्क़ समझाती है।
पाँच बॉट, तीन कंपनियाँ
OpenAI, Anthropic और Perplexity में कौन कौन है
GPTBot (OpenAI)
OpenAI के मॉडल ट्रेन करने में मदद के लिए क्रॉल करता है। अपने शेड्यूल पर आता है।
ChatGPT-User (OpenAI)
लाइव एक पेज लाता है क्योंकि उसी वक़्त कोई ChatGPT से बात कर रहा है।
ClaudeBot (Anthropic)
Claude को ट्रेन करने में मदद के लिए क्रॉल करता है। अपने शेड्यूल पर आता है।
Claude-User (Anthropic)
लाइव एक पेज लाता है क्योंकि उसी वक़्त कोई Claude से बात कर रहा है।
PerplexityBot (Perplexity)
पेज क्रॉल और इंडेक्स करता है ताकि Perplexity के जवाब उनसे लिंक कर सकें।
दो काम, एक नहीं: ट्रेनिंग बनाम "अभी इसी वक़्त"
एक बार यह पैटर्न दिख जाए, तो बॉट की यह पूरी विविधता सिर्फ़ दो आसान श्रेणियों में सिमट जाती है — और यही फ़र्क़ असल में तय करता है कि आपको क्या करना चाहिए।
ट्रेनिंग और इंडेक्सिंग बॉट — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — किसी एक ग्राहक से जुड़े बिना, अपने शेड्यूल पर आते हैं। इसी तरह ये कंपनियाँ समय के साथ आम जानकारी और वेब का सर्च करने लायक इंडेक्स बनाती हैं। इनमें से किसी एक को ब्लॉक करना उस कंपनी को यह बताता है "मेरे आने वाले पेज इसके लिए इस्तेमाल मत करो" — यह एक असली, सार्थक फ़ैसला है, लेकिन धीरे असर दिखाता है और ब्लॉक करने से पहले जो सीखा जा चुका है उसे छूता तक नहीं।
यूज़र-ट्रिगर बॉट — ChatGPT-User, Claude-User, Perplexity-User — इसलिए आते हैं क्योंकि बातचीत के बीच किसी असली इंसान ने असिस्टेंट से कहा है कि अभी आपके पेज को देखे: मौजूदा क़ीमत जाँचने, आज का मेन्यू पढ़ने, या आपके समय की पुष्टि करने के लिए। OpenAI और Perplexity दोनों साफ़ कहते हैं कि चूँकि यह अनुरोध किसी इंसान ने किया, इसलिए ऐसी विज़िट robots.txt का उतना पालन नहीं भी कर सकती जितना ऑटोमेटेड क्रॉल करता है — तर्क यह है कि जो इंसान सीधा सवाल पूछता है, उसे वही पहुँच मिलनी चाहिए जो उसे लिंक पर खुद क्लिक करने से मिलती।
इसीलिए "AI बॉट" को एक ही बिना-भेद वाली चीज़ मानकर ब्लॉक करना अक्सर उल्टा पड़ता है: आप वह क्रॉलर बंद कर सकते हैं जो अगले महीने आपके बिज़नेस को ढूँढ़ना आसान बना देता, बिना यह रोके कि कल कोई पेज लाइव कैसे लाया जाता है — क्योंकि वह लाना कभी आपका ब्लॉक करने का अधिकार था ही नहीं।
अपने ही सर्वर लॉग पढ़कर देखिए कि सच में कौन आया
यह जाँचने के लिए कि आपकी साइट पर ऐसा कुछ हो रहा है या नहीं, किसी ख़ास सॉफ़्टवेयर की ज़रूरत नहीं। हर वेब सर्वर एक्सेस लॉग रखता है — हर विज़िटर और उसने क्या देखा, इसकी लगातार चलती लिस्ट — और हर क्रॉलर user-agent नाम की एक लाइन में अपनी पहचान बताता है, ठीक वैसे जैसे कोई डिलीवरी वाला अपना बैज दिखा सकता है।
अगर आपकी साइट कमांड-लाइन एक्सेस के साथ होस्ट है, तो आप खुद उस लॉग में खोज सकते हैं। अपने एक्सेस लॉग में "GPTBot", "ClaudeBot" या "PerplexityBot" टेक्स्ट खोजने जैसा आसान कमांड आपको हर विज़िट दिखाएगा — तारीख़, माँगा गया ठीक-ठीक पेज, और सर्वर ने विज़िट को आने दिया या रोका। ज़्यादातर होस्टिंग कंट्रोल पैनल (cPanel, Plesk वगैरह) वही लॉग एक "रॉ लॉग" या "विज़िटर लॉग" स्क्रीन पर कुछ क्लिक में दिखा देते हैं, अगर आप कमांड लाइन से बचना चाहें।
मिलने पर दो बातें जाँचने लायक हैं: कोई ख़ास बॉट आख़िरी बार कब आया (जो ट्रेनिंग बॉट कभी नहीं आया, उसका मतलब है आपके पेज अभी उस कंपनी के ट्रेनिंग डेटा का हिस्सा नहीं बने), और अनुरोध कामयाब रहे या ब्लॉक हुए — जो पेज GPTBot को एरर लौटाता है, हो सकता है वही एरर किसी असली ग्राहक के ब्राउज़र को भी लौटा रहा हो, और दोनों ही सूरत में यह जानना अच्छा है।
ऐसी robots.txt लिखना जो मदद करे, छुपाए नहीं
robots.txt एक सादा टेक्स्ट फ़ाइल है जिसे आप अपनी साइट की जड़ में रखते हैं (yoursite.com/robots.txt) और जो यह बताती है कि कौन-से ऑटोमेटेड विज़िटर साइट के किस हिस्से को पढ़ सकते हैं। Google का क्रॉलिंग दस्तावेज़ीकरण — अपने ही सर्च क्रॉलर के लिए लिखा गया, लेकिन फ़ाइल का फ़ॉर्मैट सभी बॉट संचालकों में साझा है — अगर आपने कभी ऐसी फ़ाइल नहीं खोली, तो यह सिंटैक्स की सबसे साफ़ सीधी-भाषा वाली व्याख्या है।
लगभग हर स्थानीय या छोटे बिज़नेस के लिए सबसे सुरक्षित शुरुआती स्थिति सबसे आसान वाली है: हर क्रॉलर को हर सार्वजनिक पेज पढ़ने दें, और AI बॉट के लिए अलग से कोई Disallow नियम न लिखें। क्रॉल होने का फ़ायदा यह मौक़ा है कि आपका ज़िक्र हो, आपकी तुलना हो, और आपको सुझाया जाए; ब्लॉक करने का नुकसान यह है कि आप किसी जवाब से पूरी तरह ग़ायब हो जाएँ, बिना यह जाने कि ऐसा हुआ। "आंशिक रूप से ब्लॉक" का कोई ऐसा रूप नहीं जो किसी असिस्टेंट को आपको बेहतर बताने पर मजबूर करे — यह सिर्फ़ आपको उस एक बॉट के लिए अदृश्य बना सकता है।
दो असली अपवाद वे पेज हैं जिन्हें आप सर्च इंजन को भी नहीं दिखाना चाहेंगे — एक निजी ग्राहक पोर्टल, कोई आंतरिक एडमिन पेज, अप्रकाशित ड्राफ़्ट — जिन पर पहले से ही किसी भी क्रॉलर, AI हो या न हो, के लिए Disallow नियम होना चाहिए। और वह पेज जो सचमुच भ्रामक हो अगर उसे उस डिज़ाइन और चेतावनियों के बिना, संदर्भ से बाहर पढ़ा जाए जो उसे आपकी साइट पर घेरे रहते हैं — यह दुर्लभ है, लेकिन अगर आप पर लागू हो तो दोबारा देखने लायक है।
अगर आप किसी ख़ास बॉट को ब्लॉक करने का फ़ैसला करें, तो उसका ठीक-ठीक नाम इस्तेमाल करें — "GPTBot", न कि "OpenAI", न "AI बॉट" — क्योंकि हर बॉट सिर्फ़ अपने ही नाम के लिए लिखे नियम मानता है। GPTBot को ब्लॉक करने वाला नियम OAI-SearchBot पर कोई असर नहीं डालता, और यह उल्टा भी सच है; यही अलगाव पूरी वजह है कि इन कंपनियों ने शुरू से ही अपने बॉट अलग-अलग बाँटे।
- जिस भी बॉट को संबोधित करना चाहते हैं उसे ठीक-ठीक नाम से सूचीबद्ध करें, हर बॉट के लिए एक User-agent लाइन।
- फ़ाइल को AI-विशेष Disallow नियमों से खाली रखें, जब तक कोई पेज सचमुच निजी न हो।
- किसी भी साइट माइग्रेशन के बाद फ़ाइल फिर जाँचें — कभी-कभी नया होस्ट एक डिफ़ॉल्ट robots.txt देता है जो सब कुछ ब्लॉक कर देता है।
- प्रकाशित करने के बाद ब्राउज़र में yoursite.com/robots.txt पर लाइव फ़ाइल टेस्ट करें; यहाँ का टाइपो चुपचाप रहता है और आसानी से छूट जाता है।
robots.txt फ़ैसला
तीन सवालों में एक समझदार नीति
क्या यह पेज पहले से सर्च नतीजों में सार्वजनिक है?
अगर Google यह पेज पहले से दिखा सकता है, तो कोई AI क्रॉलर उसे पढ़े तो आपकी कोई अतिरिक्त लागत नहीं।
क्या आपको बुरा लगेगा अगर कोई लिंक क्लिक करके इसे देखे?
अगर सीधे पेज पर आने वाला कोई इंसानी विज़िटर ठीक है, तो वही पेज पढ़ने वाला बॉट भी ठीक है।
तभी Disallow पर विचार करें
ब्लॉकिंग सिर्फ़ उन पेजों के लिए रखें जिन्हें आप सर्च नतीजों से भी बाहर रखते — निजी पोर्टल, ड्राफ़्ट, एडमिन स्क्रीन।
देखें कि AI आपके कारोबार के बारे में क्या कहता है
Growli ChatGPT, Gemini, Claude और Perplexity के जवाबों में आपकी हिस्सेदारी मापता है — और हर कमी को प्राथमिकता वाली कार्रवाइयों में बदल देता है।
शुरू करेंFAQ
नहीं। GPTBot सिर्फ़ इससे जुड़ा है कि OpenAI आपके पेज भविष्य के मॉडल ट्रेन करने में इस्तेमाल कर सकता है या नहीं। ChatGPT का सर्च फ़ीचर एक अलग क्रॉलर, OAI-SearchBot इस्तेमाल करता है, और बातचीत के बीच उसके लाइव फ़ेच ChatGPT-User इस्तेमाल करते हैं — दोनों उस नियम से अछूते रहते हैं जो सिर्फ़ GPTBot का नाम लेता है। अपने पेज ख़ासतौर पर ChatGPT के सर्च नतीजों से बाहर रखने के लिए, आपको OAI-SearchBot का नाम भी लेना होगा।
ऑटोमेटेड, अपने शेड्यूल पर चलने वाले क्रॉलर — GPTBot, ClaudeBot, PerplexityBot और दोनों इंडेक्सिंग बॉट — सब कहते हैं कि वे अपने ठीक-ठीक नाम को संबोधित robots.txt नियमों का पालन करते हैं। लाइव, यूज़र-ट्रिगर बॉट अलग हैं: OpenAI और Perplexity दोनों साफ़ कहते हैं कि चूँकि यह ख़ास फ़ेच किसी इंसान ने माँगा, robots.txt नियम उसी तरह लागू न भी हों — क्योंकि अनुरोध किसी इंसान के असली सवाल से आया, किसी शेड्यूल्ड क्रॉल से नहीं।
user-agent स्ट्रिंग कोई भी नक़ली बना सकता है, इसलिए अगर यह आपके लिए मायने रखता है तो इसे सबूत नहीं, बस संकेत मानें। हर कंपनी अपने बॉट के दस्तावेज़ीकरण के साथ वे IP रेंज भी बताती है जहाँ से उसके असली बॉट क्रॉल करते हैं — विज़िटर के IP को उस बताई गई रेंज से मिलाना, कार्रवाई करने से पहले किसी विज़िट को असली मानने का भरोसेमंद तरीक़ा है।
ज़्यादातर साइटों के लिए नहीं — ये बॉट पेज एक मामूली, शिष्ट रफ़्तार से माँगते हैं, किसी सर्च इंजन क्रॉलर जितने ही स्तर पर, और ज़्यादातर होस्टिंग प्लान ठीक इसी तरह के ट्रैफ़िक को झेलने के लिए बने होते हैं। कोई बहुत बड़ी साइट, हज़ारों पेज वाली, शायद इसे सर्वर लॉग में नोटिस करे, लेकिन यह असली विज़िटर के लिए परफ़ॉर्मेंस पर असर डालने लायक शायद ही कभी हो।
नहीं — llms.txt एक अलग, वैकल्पिक परंपरा है जिसे कुछ साइटें AI एजेंट के लिए एक क्यूरेट की गई रीडिंग लिस्ट बनाने को पब्लिश करती हैं, लेकिन ऊपर के किसी भी क्रॉलर के दस्तावेज़ में इसका ज़िक्र नहीं कि यह उसके क्रॉल करने के तरीक़े या robots.txt पढ़ने के तरीक़े को बदलता है। robots.txt ही वह फ़ाइल है जो असल में पहुँच देती या रोकती है।
बस इतनी कि सबसे आम गलती से बचा जा सके: गलती से किसी बॉट को ब्लॉक कर देना, आमतौर पर किसी कॉपी-पेस्ट किए robots.txt टेम्पलेट से जो सब कुछ रोक देता है। यह जाँचने के अलावा कि आपकी फ़ाइल गलती से इन बॉट को ब्लॉक नहीं कर रही, ज़्यादातर छोटे बिज़नेस को क्रॉलर नियमों को बारीक़ी से ठीक करने से ज़्यादा फ़ायदा यह सुनिश्चित करने में मिलता है कि उनके समय, सेवाएँ और रिव्यू सटीक और पढ़ने में आसान हों। AI विज़िबिलिटी पूरी तरह कैसे काम करती है, इसकी बड़ी तस्वीर के लिए देखें [Growli का AI विज़िबिलिटी गाइड](https://growli.xyz/blog/ai-visibility)।