AI क्रॉलर वाकई आपकी वेबसाइट कैसे पढ़ते हैं

लाना बनाम रेंडर करना: वह फ़र्क़ जो तय करता है कि क्रॉलर क्या देखता है

हर वेबसाइट विज़िट एक ही तरह से शुरू होती है: आपके सर्वर को एक रिक्वेस्ट जाती है, और सर्वर एक रिस्पॉन्स भेजता है। वह रिस्पॉन्स HTML होता है — पेज का कच्चा ढाँचा। एक आधुनिक वेबसाइट अक्सर जानबूझकर यह ढाँचा लगभग ख़ाली भेजती है, फिर JavaScript — विज़िटर के ब्राउज़र में चलने वाले छोटे प्रोग्राम — का इस्तेमाल करके उसे बाद में असली टेक्स्ट, कीमतों और तस्वीरों से भरती है।

एक इंसान विज़िटर का ब्राउज़र वह JavaScript अपने-आप चला देता है, इसलिए उसे यह अंतर कभी नज़र ही नहीं आता। "रेंडर करना" उस अतिरिक्त कदम का तकनीकी नाम है: JavaScript चलाना और पूरा पेज बनाना। "लाना" बस कच्चा HTML उठाकर वहीं रुक जाना है। ज़्यादातर AI क्रॉलर लाते हैं। वे रेंडर नहीं करते।

एक प्लंबर की वेबसाइट की कल्पना कीजिए जिसका होमपेज लोगो और फ़ोटो के साथ तुरंत लोड हो जाता है, लेकिन सेवाओं की असली सूची — पाइप की सफ़ाई, वॉटर हीटर की मरम्मत, इमरजेंसी कॉल — पेज लोड होने के एक सेकंड बाद JavaScript से भरी जाती है। एक विज़िटर का ब्राउज़र यह भराई इतनी सहजता से करता है कि उसे कभी पता ही नहीं चलता कि दो कदम हुए थे। लेकिन जो AI क्रॉलर सिर्फ़ लाता है, वह लगभग ख़ाली ढाँचा देखता है और वहीं रुक जाता है। उस क्रॉलर के लिए, सेवाओं की सूची जैसे कुछ है ही नहीं।

बॉट्स को एक-एक करके जानिए, और हर एक असल में किस काम का है

"AI क्रॉलर" कोई एक बॉट नहीं है — यह कुछ कंपनियाँ हैं, जिनमें से हर एक अलग-अलग कामों के लिए कई बॉट चलाती है। यह जानना ज़रूरी है कि कौन कौन है, क्योंकि एक को ब्लॉक करने से बाक़ी ब्लॉक नहीं होते।

OpenAI चार अलग बॉट दस्तावेज़ करता है: GPTBot वह कंटेंट जुटाता है जो उसके मॉडलों को ट्रेन करने में इस्तेमाल हो सकता है। OAI-SearchBot यह तय करने के लिए वेब खँगालता है कि ChatGPT के भीतर सर्च करने पर क्या दिखाया जाए। OAI-AdsBot किसी एक विज्ञापन लैंडिंग पेज की सुरक्षा जाँचता है। ChatGPT-User इन तीनों से अलग है — यह किसी पेज पर रीयल टाइम में तभी जाता है जब कोई व्यक्ति ChatGPT से सीधा सवाल पूछता है, और OpenAI का अपना दस्तावेज़ बताता है कि "robots.txt के नियम लागू नहीं भी हो सकते" क्योंकि किसी व्यक्ति ने उस फ़ेच का स्पष्ट रूप से अनुरोध किया था।

Anthropic भी एक जैसा बँटवारा करता है: ClaudeBot "हमारे जेनरेटिव AI मॉडलों की उपयोगिता और सुरक्षा बढ़ाने के लिए" कंटेंट जुटाता है, Claude-SearchBot Claude के भीतर सर्च-जैसे नतीजे बेहतर करने के लिए वेब खँगालता है, और Claude-User किसी पेज को तभी लाता है जब किसी व्यक्ति का सवाल उसे वहाँ ले जाए। Perplexity भी यही पैटर्न अपनाता है: PerplexityBot वेबसाइटों को दिखाने और लिंक करने के लिए वेब खँगालता है, जबकि Perplexity-User किसी पेज को सिर्फ़ किसी व्यक्ति के सवाल के जवाब में लाता है।

इनमें से कोई भी बॉट JavaScript रेंडर नहीं करता। ऊपर बताए गए इन कंपनियों के अपने दस्तावेज़ों के अनुसार, ये सभी robots.txt का सम्मान करने वाले हैं — सिवाय यूज़र-ट्रिगर्ड बॉट्स के, जो मौजूद ही इसलिए हैं क्योंकि दूसरी तरफ़ कोई असली व्यक्ति जवाब का इंतज़ार कर रहा है।

Googlebot अपवाद है, और यह जानना फ़ायदेमंद है कि क्यों

अगर AI क्रॉलर JavaScript रेंडर नहीं करते, तो यह इतना अनजाना क्यों लगता है? क्योंकि Googlebot करता है। Google दस्तावेज़ करता है कि Googlebot "Google के सर्च इंडेक्स बनाने के लिए जानकारी खोजने" के लिए मौजूद है, और इसे अच्छी तरह करने के लिए Google ने कई सालों में एक पूरी रेंडरिंग पाइपलाइन बनाई — यानी हर उस पेज के लिए भारी पैमाने पर एक असली ब्राउज़र चलाना जिसे वह पूरी तरह समझना चाहता है।

यह सचमुच महँगा इंफ्रास्ट्रक्चर है, और फ़िलहाल AI कंपनियों ने अपने क्रॉलर के लिए इसका अपना संस्करण नहीं बनाया है। Vercel का अपना विश्लेषण इसे साफ़ शब्दों में कहता है: "फ़िलहाल कोई भी प्रमुख AI क्रॉलर JavaScript रेंडर नहीं करता। इसमें OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot) शामिल हैं।" उसी विश्लेषण में यह भी पाया गया कि ये क्रॉलर कभी-कभी किसी साइट की JavaScript फ़ाइलें लाते तो हैं — ChatGPT के बॉट्स ने लगभग 11.5% रिक्वेस्ट में ऐसा किया, Claude के लगभग 23.8% में — लेकिन फ़ाइल लाना उसे चलाने जैसा नहीं है। वे अब भी उसे चलाते नहीं। उसी अवधि में, Vercel ने Googlebot के मासिक 4.5 अरब अनुरोध मापे, जबकि GPTBot के 56.9 करोड़ और Claude के क्रॉलरों के 37 करोड़ थे — यह उस मात्रा का बस एक छोटा हिस्सा है।

यह अंतर हमेशा के लिए बना रहे, यह ज़रूरी नहीं। लेकिन जो कारोबारी आज तय कर रहा है कि अपनी वेबसाइट का क्या करे, उसके लिए यह आज की हक़ीक़त है, कोई स्थायी नियम नहीं — कभी-कभार दोबारा देखने लायक़, पर इसकी वजह से नींद उड़ाने लायक़ नहीं।

एक असली वेबसाइट को इसकी असल क़ीमत क्या चुकानी पड़ती है

उसी प्लंबर की वेबसाइट पर वापस चलते हैं। अगर सेवाओं की सूची, सेवा-क्षेत्र का नक़्शा और ग्राहक समीक्षाएँ — सब कुछ शुरुआती पेज के बाद JavaScript से लोड होता है, तो जब कोई AI असिस्टेंट से पूछता है "मेरे पास इमरजेंसी प्लंबिंग कौन करता है" तब यह होता है: असिस्टेंट के क्रॉलर ने किसी समय वह पेज लाया, लगभग ख़ाली ढाँचा देखा, और आगे बढ़ गया। उसे कभी पता ही नहीं चला कि यह प्लंबर असल में कौन-सी सेवाएँ देता है।

यह कोई छोटी तकनीकी बात नहीं है — सीधे शब्दों में, यह किसी AI असिस्टेंट की दुनिया की तस्वीर में होने या न होने का फ़र्क़ है। एक प्रतिस्पर्धी प्लंबर जिसकी साइट अपनी सेवाएँ सीधे उस पहली सर्वर प्रतिक्रिया में लोड करती है, बिना उसके कारोबार में कुछ और बेहतर हुए, बस सिफ़ारिश के लिए ज़्यादा दिखने लायक़ बन जाता है।

यह कैसे जाँचें कि आपकी अपनी साइट किसी क्रॉलर को असल में क्या दिखाती है

यह ख़ुद जाँचने के लिए आपको तकनीकी होने की ज़रूरत नहीं, और इसमें लगभग दो मिनट लगते हैं।

• अपने होमपेज पर राइट-क्लिक करें और "पेज सोर्स देखें" चुनें (या Ctrl+U / Cmd+Option+U दबाएँ)। जो आप देखते हैं वह उस कच्चे HTML के काफ़ी क़रीब है जो एक क्रॉलर लाता है। अगर आपकी सेवाएँ, क़ीमतें या ज़रूरी जानकारी उस टेक्स्ट में नहीं है, तो हो सकता है वह किसी AI क्रॉलर को भी न दिखे।
• अपने ब्राउज़र में थोड़ी देर के लिए JavaScript बंद करें (ज़्यादातर ब्राउज़र इसे अपने डेवलपर टूल्स या सेटिंग्स में देते हैं) और अपना होमपेज फिर से लोड करें। जो कुछ भी ग़ायब होता है, वही है जो रेंडर न करने वाला क्रॉलर कभी देख ही नहीं पाता।
• अपनी साइट बनाने या संभालने वाले से सीधा सवाल पूछें: "हमारा मुख्य कंटेंट — सेवाएँ, क़ीमतें, जगह, समय — क्या सर्वर की पहली प्रतिक्रिया में भेजा जाता है, या बाद में JavaScript से भरा जाता है?" अगर ईमानदार जवाब "बाद में भरा जाता है" है, तो यही पहले ठीक करने लायक़ चीज़ है।

आगे क्या करें

इसमें से किसी काम के लिए आपकी वेबसाइट फिर से बनाने की ज़रूरत नहीं। इसका मतलब बस इतना है कि सबसे ज़रूरी शब्द — आप क्या करते हैं, कहाँ हैं, इसकी क़ीमत क्या है, आपको क्यों चुना जाए — आपके सर्वर की उसी सबसे पहली प्रतिक्रिया में आ जाएँ, किसी भी JavaScript के चलने से पहले। स्ट्रक्चर्ड डेटा और एक साफ़, क्रॉलर-फ़्रेंडली पेज सेटअप ठीक इसी नींव पर बनते हैं, और Growli यह जाँचता है कि क्या AI असिस्टेंट आज असल में आपके व्यवसाय को देख और सुझा सकते हैं, न कि सिर्फ़ यह कि आपकी साइट ब्राउज़र में अच्छी दिखती है या नहीं।

FAQ