AI क्रॉलर ट्रैफ़िक बनाम Googlebot: असली आँकड़े कैसे दिखते हैं

AI क्रॉलर असल में कितनी बार विज़िट करते हैं, Googlebot के मुक़ाबले

Vercel, जिसके सर्वर आधुनिक वेब के एक बड़े हिस्से को होस्ट करते हैं, ने अपना ख़ुद का ट्रैफ़िक विश्लेषण प्रकाशित किया जो अपने नेटवर्क पर पूरे एक महीने को कवर करता है। उस अवधि में Googlebot ने 4.5 अरब रिक्वेस्ट जनरेट कीं। GPTBot ने 56.9 करोड़ जनरेट कीं — यानी मात्रा का लगभग आठवाँ हिस्सा। Claude के क्रॉलरों ने 37 करोड़ जनरेट कीं, उससे भी कम।

सीधे शब्दों में: Vercel द्वारा होस्ट किए गए वेब पर Googlebot जितनी भी विज़िट करता है, उसके मुक़ाबले GPTBot लगभग आठवाँ हिस्सा विज़िट करता है, और Claude के क्रॉलर उससे भी कम। यह कोई राउंडिंग की ग़लती नहीं है — यह दिखाता है कि Google कितने ज़्यादा लंबे समय से बड़े पैमाने पर सर्च इंफ़्रास्ट्रक्चर बना और चला रहा है।

क्रॉल करना और विज़िटर वापस भेजना दो बहुत अलग चीज़ें हैं

कच्ची क्रॉल मात्रा इस सवाल का जवाब देती है "यह बॉट कितनी बार विज़िट करता है", लेकिन एक कारोबारी को आमतौर पर एक अलग सवाल की फ़िक्र होती है: "क्या यह मुझे ग्राहक भेजता है?" Cloudflare, जो अपने हिसाब से पूरे वेब ट्रैफ़िक के लगभग पाँचवें हिस्से के सामने खड़ा है, ने एक हफ़्ते के लिए इस सवाल के दोनों पहलू मापे और जिसे वह क्रॉल-टू-रेफ़र अनुपात कहता है उसे प्रकाशित किया — यानी किसी कंपनी के बॉट्स ने किसी पेज को कितनी बार क्रॉल किया, हर उस एक बार के मुक़ाबले जब उन्होंने किसी लिंक के ज़रिए वहाँ एक असली विज़िटर भेजा।

आँकड़े चौंकाने वाले हैं। Cloudflare ने पाया कि OpenAI का कुल अनुपात लगभग 887 क्रॉल प्रति 1 रेफ़र किए गए विज़िटर के क़रीब था। Anthropic का अनुपात उससे भी कहीं ज़्यादा था — Cloudflare के माप में "लगभग 50,000:1"। Perplexity, जिसका प्रोडक्ट लिंक के साथ जवाब देने के इर्द-गिर्द बना है, का अनुपात कहीं ज़्यादा टाइट था, लगभग 118 से 1 — फिर भी असंतुलित, लेकिन तीनों में सबसे क़रीब कि वह जितना क्रॉल करता है उतने विज़िटर वापस भेजे।

यह अनुपात इतना असंतुलित क्यों है: ज़्यादातर क्रॉलिंग ट्रेनिंग के लिए है, जवाबों के लिए नहीं

क्रॉल-टू-रेफ़र अंतर इतना बड़ा क्यों है, इसकी वजह यह है कि ज़्यादातर क्रॉलिंग असल में किसलिए होती है। Cloudflare की उसी रिसर्च ने पाया कि "ट्रेनिंग ट्रैफ़िक, जो AI बॉट्स की क्रॉलिंग का लगभग 80% ज़िम्मेदार है," उस ट्रैफ़िक से कहीं बड़ा है जो किसी ख़ास सवाल का रीयल टाइम में जवाब देने के लिए इस्तेमाल होता है — यानी वह ट्रैफ़िक जिसमें आपकी साइट पर वापस लिंक होने की सबसे ज़्यादा संभावना होती है।

ट्रेनिंग क्रॉल आम तौर पर किसी मॉडल को बनाने या बेहतर करने के लिए कंटेंट जुटाते हैं — उनके पास किसी को कहीं भेजने की कोई सीधी वजह नहीं होती, क्योंकि किसी ख़ास व्यक्ति ने कोई ख़ास सवाल नहीं पूछा। यूज़र-ट्रिगर्ड फ़ेच, जैसे ChatGPT-User या Perplexity-User जो किसी पेज को इसलिए विज़िट करता है क्योंकि किसी ने असली सवाल पूछा, वही ट्रैफ़िक है जो असली विज़िटर में बदलने की सबसे ज़्यादा संभावना रखता है, और यह होने वाली कुल क्रॉलिंग का एक छोटा हिस्सा है।

एक असली कारोबार के लिए इसका क्या मतलब है

टैक्स सीज़न के दौरान एक स्थानीय अकाउंटेंट की कल्पना कीजिए। उसकी वेबसाइट को महीने में हज़ारों Googlebot विज़िट मिल सकती हैं, और उसके मुक़ाबले सिर्फ़ मुट्ठी भर AI-क्रॉलर विज़िट — और यह अपेक्षित है, यह संकेत नहीं कि उसकी साइट AI असिस्टेंट्स के साथ नाकाम हो रही है। उसके लिए असल में जो मायने रखता है वह मात्रा से कम और दो संकरे सवालों से ज़्यादा जुड़ा है: क्या उसे उन असिस्टेंट्स द्वारा बिल्कुल भी क्रॉल किया जा रहा है जिन्हें उसके संभावित क्लाइंट इस्तेमाल करते हैं, और जब कोई उनमें से किसी असिस्टेंट से सीधा सवाल पूछता है, तो क्या वह उसके बारे में इतना जानता है कि उसका नाम लेकर जवाब दे सके।

दशकों से जैसे कारोबार Googlebot की गतिविधि के पीछे भागते रहे हैं, वैसे ही AI-क्रॉलर विज़िट गिनती के पीछे भागना यहाँ सही सहज प्रतिक्रिया नहीं है — मात्रा अभी उसी तरह से नहीं बनी है। क्या आप क्रॉल तो किए जा रहे हैं लेकिन उल्लेखित नहीं हो रहे, इसका निदान करने की हमारी गाइड इस बात में गहराई से जाती है कि असल में किसी ज़िक्र की भविष्यवाणी क्या करता है, जो कच्ची विज़िट गिनती से कहीं ज़्यादा मायने रखता है।

FAQ