अपने सर्वर लॉग में असली AI क्रॉलर विज़िट कैसे वेरिफ़ाई करें

लेखक Zakaria Reziki

सीईओ — Growli · 30 सितंबर 2026 · 5 मिनट का पठन

Zakaria Reziki के तय संपादकीय मानकों के तहत AI की मदद से लिखा गया, और स्रोत तथा गुणवत्ता की स्वचालित जाँच के बाद प्रकाशित।

मुख्य बातें

सिर्फ़ यूज़र-एजेंट नाम अपने आप में कुछ साबित नहीं करता। स्क्रेपर बनाने वाला कोई भी व्यक्ति अपनी रिक्वेस्ट हेडर में "GPTBot" टाइप कर सकता है; आपके सर्वर के पास सिर्फ़ नाम से फ़र्क़ बताने का कोई तरीक़ा नहीं है।
हर बड़ा AI क्रॉलर एक असली वेरिफ़िकेशन तरीक़ा प्रकाशित करता है। OpenAI, Anthropic और Perplexity हर एक अपने क्रॉलरों द्वारा इस्तेमाल किए जाने वाले असली IP पतों की मशीन-रीडेबल सूची प्रकाशित करते हैं।
यह जाँच वही है जो सर्च इंजन सालों से इस्तेमाल करते आए हैं। यह पुष्टि करना कि किसी रिक्वेस्ट का IP पता ऑपरेटर की प्रकाशित सूची में दिखता है, वही अनुशासन है जो साइट मालिक पहले से असली Googlebot विज़िट वेरिफ़ाई करने के लिए इस्तेमाल करते हैं।
आपके लॉग में जो चाहिए वह पहले से मौजूद है। किसी नए सॉफ़्टवेयर की ज़रूरत नहीं — ज़्यादातर वेब सर्वर पहले से डिफ़ॉल्ट रूप से हर विज़िटर का IP पता और यूज़र-एजेंट स्ट्रिंग रिकॉर्ड करते हैं।

आपके सर्वर लॉग में "GPTBot" लिखी एक लाइन यह सबूत नहीं है कि OpenAI के क्रॉलर ने आपको विज़िट किया — यह सिर्फ़ इस बात का सबूत है कि किसी रिक्वेस्ट ने GPTBot होने का दावा किया, और कोई भी यह दावा कर सकता है। यूज़र-एजेंट स्ट्रिंग बस एक वाक्य है जो विज़िटर का सॉफ़्टवेयर अपनी रिक्वेस्ट के साथ शामिल करता है, और कुछ भी किसी स्क्रेपर, किसी प्रतिस्पर्धी के टूल, या किसी जिज्ञासु छात्र को मनचाहा कोई भी नाम टाइप करने से नहीं रोकता।

ख़ुशक़िस्मती से, हर बड़े AI क्रॉलर ऑपरेटर ने इसे उसी तरह हल किया है जैसे सर्च इंजन पहले ही कर चुके हैं: उन असली IP पतों की सूची प्रकाशित करके जो उनके क्रॉलर वाक़ई इस्तेमाल करते हैं, ताकि कोई भी किसी दावा किए गए विज़िट को असली चीज़ से मिलाकर जाँच सके। यह लेख बताता है कि ठीक-ठीक यह कैसे करें, कंपनियों के अपने प्रकाशित वेरिफ़िकेशन पेजों का इस्तेमाल करते हुए।

आपके लॉग में नाम अपने आप में क्यों काफ़ी नहीं है

एक डेंटिस्ट के ऑफ़िस की वेबसाइट की कल्पना कीजिए जिसके लॉग में पिछले महीने "GPTBot" कहलाने वाली किसी चीज़ से पचास विज़िट दिखती हैं। यह OpenAI के साइट पढ़ने के सबूत जैसा लगता है। लेकिन यूज़र-एजेंट स्ट्रिंग पूरी तरह से ख़ुद-घोषित होती है — जैसे फ़्रंट डेस्क पर कोई विज़िटर बस अपना नाम ज़ोर से बोल दे, बिना किसी के आईडी जाँचे। कोई भी बनाया गया बिल्कुल अलग प्रोग्राम ठीक वही नाम बोल सकता है।

यह दो व्यावहारिक वजहों से मायने रखता है: अगर आप तय कर रहे हैं कि किसी क्रॉलर को ब्लॉक करना है या अनुमति देनी है, तो आप जानना चाहते हैं कि आप असल में असली वाले को नियंत्रित कर रहे हैं, किसी नक़ल को नहीं। और अगर आप यह समझने की कोशिश कर रहे हैं कि आपको कितना असली AI-क्रॉलर ट्रैफ़िक मिलता है, तो बढ़ा-चढ़ाकर या नक़ली गिनती आपको बिल्कुल ग़लत तस्वीर देती है।

असली वेरिफ़िकेशन तरीक़ा: प्रकाशित IP सूचियाँ

हर बड़ा ऑपरेटर इसे एक ही तरह हल करता है: वे एक मशीन-रीडेबल फ़ाइल प्रकाशित करते हैं जिसमें वे असली IP पता रेंज सूचीबद्ध होती हैं जहाँ से उनके क्रॉलर रिक्वेस्ट भेजते हैं। कोई रिक्वेस्ट तभी वाक़ई उस कंपनी का क्रॉलर है जब यूज़र-एजेंट नाम और सोर्स IP पता दोनों उससे मेल खाते हों जो कंपनी ख़ुद प्रकाशित करती है।

OpenAI अपने हर बॉट के लिए अलग वेरिफ़िकेशन फ़ाइलें प्रकाशित करता है — GPTBot, OAI-SearchBot, OAI-AdsBot और ChatGPT-User, हर एक की अपनी सूची है। Anthropic एक सूची प्रकाशित करता है जो claude.com/crawling/bots.json पर अपने क्रॉलरों को कवर करती है। Perplexity अपने दोनों बॉट्स के लिए फ़ाइलें प्रकाशित करता है — PerplexityBot और Perplexity-User — और उसका अपना दस्तावेज़ विश्वसनीय नतीजे के लिए यूज़र-एजेंट नाम और IP पता दोनों को साथ जाँचने की सलाह देता है।

प्रकाशित वेरिफ़िकेशन फ़ाइलें

हर कंपनी अपनी असली IP रेंज कहाँ प्रकाशित करती है

OpenAI
हर बॉट के लिए अलग फ़ाइल — GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User।
Anthropic
claude.com/crawling/bots.json पर एक प्रकाशित सूची जो उसके क्रॉलरों को कवर करती है।
Perplexity
PerplexityBot के लिए एक फ़ाइल और Perplexity-User के लिए अलग फ़ाइल।

चार-चरणों की जाँच, सीधे शब्दों में

यह जाँच चलाने के लिए आपको डेवलपर होने की ज़रूरत नहीं, हालाँकि तकनीकी चरणों में किसी की मदद इसे तेज़ बना देती है।

अपने लॉग में दावा किए गए विज़िट ढूँढ़ें। अपने सर्वर के एक्सेस लॉग में उस बॉट नाम को खोजें जिसे आप जाँच रहे हैं — "GPTBot," "ClaudeBot," या "PerplexityBot" — और हर रिक्वेस्ट जिस IP पते से आई उसे नोट करें।
कंपनी की प्रकाशित IP सूची खोलें। हर एक ऊपर दिए पतों पर एक छोटी, सादी टेक्स्ट फ़ाइल है, जो सॉफ़्टवेयर द्वारा पढ़े जाने के लिए बनाई गई है लेकिन किसी व्यक्ति द्वारा भी पूरी तरह पढ़ी जा सकती है।
IP पता मिलाएँ, सिर्फ़ नाम नहीं। अगर आपके लॉग से IP पता कंपनी की प्रकाशित रेंज में दिखता है, तो विज़िट असली है। अगर नहीं दिखता, तो किसी ने एक ऐसा नाम इस्तेमाल किया जो उसका नहीं है।
समय-समय पर फिर से जाँचें। कंपनियाँ अपनी इंफ़्रास्ट्रक्चर बदलने पर इन रेंजों को अपडेट करती हैं, इसलिए एक बार की जाँच पुरानी पड़ जाती है। ज़्यादातर साइट मालिकों को बस हर कुछ महीनों में, या जब भी उनके क्रॉलर ट्रैफ़िक में कुछ असामान्य लगे, फिर से जाँचने की ज़रूरत होती है।

जाँच

किसी दावा किए गए क्रॉलर विज़िट को वेरिफ़ाई करना

1. अपने लॉग में विज़िट ढूँढ़ें
दावा किया गया बॉट नाम और वह IP पता नोट करें जहाँ से वह आया।
2. ऑपरेटर की प्रकाशित सूची खोलें
एक छोटी, सादी टेक्स्ट फ़ाइल जिसे कंपनी ख़ुद बनाए रखती है।
3. IP मिलाएँ, नाम नहीं
सिर्फ़ मिलता हुआ IP पता ही असली क्रॉलर होने की पुष्टि करता है।

यह असल में आपको किससे बचाता है

यह डर की बात नहीं है — यह अंदाज़े के बजाय जानकारी पर आधारित फ़ैसला लेने की बात है। एक कारोबारी जो GPTBot को इसलिए अनुमति देने का फ़ैसला करता है क्योंकि वह चाहता है कि AI असिस्टेंट उसके प्रोडक्ट्स के बारे में जानें, उसे यह जानना चाहिए कि जिस ट्रैफ़िक को वह अनुमति दे रहा है वह असल में GPTBot ही है, न कि कोई असंबंधित स्क्रेपर जो एक भरोसेमंद नाम उधार लेकर एक साधारण ब्लॉक से बच रहा हो।

यही जाँच दूसरी दिशा में भी मायने रखती है: जो कारोबार robots.txt में GPTBot को ब्लॉक करता है, वह भरोसा कर रहा है कि वैध, अच्छे व्यवहार वाले क्रॉलर उस निर्देश का सम्मान करते हैं — जो OpenAI का अपना दस्तावेज़ कहता है कि GPTBot करता है। GPTBot का नाम पहने कोई नक़ली विज़िट उसी ईमानदारी से बँधी नहीं होगी, जो एक और वजह है कि अगर आपको कभी ट्रैफ़िक अजीब लगे तो IP जाँच मायने रखती है। एक बार जब आप पुष्टि कर लें कि आपको असल में कौन विज़िट कर रहा है, तो इन क्रॉलरों के आपकी साइट पढ़ने के तरीक़े पर हमारी गाइड और इन्हें ब्लॉक करने से आपकी Google रैंकिंग प्रभावित होती है या नहीं, इसके तथ्य अगले फ़ैसलों को कवर करते हैं।

देखें कि AI आपके कारोबार के बारे में क्या कहता है

Growli ChatGPT, Gemini, Claude और Perplexity के जवाबों में आपकी हिस्सेदारी मापता है — और हर कमी को प्राथमिकता वाली कार्रवाइयों में बदल देता है।

शुरू करें

FAQ

नहीं। यूज़र-एजेंट स्ट्रिंग एक रिक्वेस्ट के साथ शामिल ख़ुद-घोषित टेक्स्ट है, और कोई भी प्रोग्राम वहाँ कोई भी नाम डाल सकता है। असली वेरिफ़िकेशन के लिए रिक्वेस्ट के IP पते को क्रॉलर ऑपरेटर की अपनी प्रकाशित सूची से मिलाना ज़रूरी है।

OpenAI openai.com पर हर बॉट के लिए एक सूची प्रकाशित करता है (उसका डेवलपर दस्तावेज़ देखें), Anthropic claude.com/crawling/bots.json पर एक सूची प्रकाशित करता है, और Perplexity अपने दस्तावेज़ में हर बॉट के लिए एक सूची प्रकाशित करता है। हर एक एक छोटी, सादी फ़ाइल है।

नहीं। आपका वेब सर्वर लगभग ज़रूर पहले से हर विज़िटर का IP पता और यूज़र-एजेंट स्ट्रिंग लॉग करता है। लॉग किए गए IP पते की तुलना किसी प्रकाशित सूची से करना कोई भी कर सकता है जो एक छोटी टेक्स्ट फ़ाइल पढ़ने में सहज हो, या किसी डेवलपर से इसे ऑटोमेट करवाया जा सकता है।

कंपनियाँ अपनी इंफ़्रास्ट्रक्चर बदलने पर अपनी रेंज अपडेट करती हैं, इसलिए जाँच को एक स्नैपशॉट समझें, स्थायी तथ्य नहीं। ज़्यादातर कारोबारों के लिए हर कुछ महीनों में, या जब भी क्रॉलर ट्रैफ़िक असामान्य लगे, दोबारा जाँचना काफ़ी है।

हाँ — OpenAI, Anthropic और Perplexity अपने यूज़र-ट्रिगर्ड बॉट्स के लिए भी उतनी ही IP वेरिफ़िकेशन प्रकाशित करते हैं जितनी अपने क्रॉलिंग बॉट्स के लिए, इसलिए चाहे आप व्यापक क्रॉल वेरिफ़ाई कर रहे हों या एक सिंगल रीयल-टाइम फ़ेच, वही जाँच काम करती है।