क्या AI क्रॉलर को ब्लॉक करने से आपकी Google रैंकिंग को नुक़सान होता है?

संक्षेप में, Google के अपने शब्दों में

Google अपने क्रॉलर और फ़ेचर्स के बारे में ख़ासतौर पर बताने वाला एक पेज प्रकाशित करता है, और यह इतनी साफ़ रेखा खींचता है जितनी ऐसा कोई दस्तावेज़ खींच सकता है। Google-Extended के बारे में, वह पेज कहता है: "Google-Extended किसी साइट के Google खोज में शामिल होने पर असर नहीं डालता, न ही इसे Google खोज में रैंकिंग सिग्नल के तौर पर इस्तेमाल किया जाता है।"

Googlebot के बारे में, वही पेज इसका मक़सद बताता है कि यह क्रॉल करता है "Google के सर्च इंडेक्स बनाने के लिए जानकारी खोजने, कुछ प्रोडक्ट-विशेष क्रॉल करने, और विश्लेषण के लिए।" दो अलग काम, साफ़ तौर पर बताए गए, उसी कंपनी द्वारा जो दोनों चलाती है।

Google-Extended असल में है क्या

यहाँ वह हिस्सा है जो ज़्यादातर लोगों को हैरान करता है: Google-Extended कोई अलग बॉट नहीं है जो आपकी वेबसाइट पर अपने नाम के साथ आता हो। Google का दस्तावेज़ इस बारे में स्पष्ट है — "Google-Extended किसी अलग HTTP यूज़र-एजेंट स्ट्रिंग के ज़रिए काम नहीं करता। बल्कि, क्रॉलिंग मौजूदा Google यूज़र-एजेंट स्ट्रिंग्स के साथ होती है; robots.txt का यूज़र-एजेंट टोकन नियंत्रण के मक़सद से इस्तेमाल होता है।"

सीधे शब्दों में: Googlebot जो क्रॉल पहले से कर रहा है, वही क्रॉल दो मक़सद पूरे कर सकता है। Google-Extended वह निर्देश है जो आप अपनी robots.txt फ़ाइल में देते हैं, इस बारे में कि क्या वह पहले से क्रॉल किया गया कंटेंट भविष्य के Gemini मॉडलों को ट्रेन करने और Gemini के जवाबों का आधार बनाने के लिए भी इस्तेमाल हो सकता है। यह एक पहले से हो रही विज़िट के ऊपर जोड़ी गई परमिशन सेटिंग है, कोई दूसरा विज़िटर नहीं।

दोनों को अलग-अलग कैसे सेट करें, सीधे शब्दों में

चूँकि Googlebot और Google-Extended अलग-अलग robots.txt नियमों से नियंत्रित होते हैं, आप हर एक को अपने आप चुन सकते हैं। एक कारोबार जो Google सर्च के नतीजों में पूरी तरह दिखते रहना चाहता है, लेकिन नहीं चाहता कि उसका कंटेंट Gemini की ट्रेनिंग या जवाबों में जाए, वह बिल्कुल यही कर सकता है: Googlebot यूज़र-एजेंट को हमेशा की तरह अनुमति दें, और Google-Extended यूज़र-एजेंट के लिए एक अलग Disallow नियम जोड़ें।

इसका उल्टा भी सच है — आप सैद्धांतिक रूप से Googlebot को ब्लॉक कर सकते हैं (और पूरी तरह Google सर्च से ग़ायब हो सकते हैं, जो लगभग कोई कारोबार नहीं चाहता) जबकि Google-Extended को अनुमति दे सकते हैं, हालाँकि व्यवहार में लगभग किसी के पास ऐसा करने की कोई वजह नहीं होती। मुद्दा बस इतना है कि ये दो अलग लीवर हैं, एक नहीं, और एक को खींचने से दूसरा नहीं हिलता।

एक ठोस उदाहरण: एक पारिवारिक बेकरी

एक बेकरी मालकिन की कल्पना कीजिए जिसने ऑनलाइन पढ़ा कि "AI बॉट्स को ब्लॉक करना आपके SEO को नुक़सान पहुँचाता है" और डर के मारे, अपनी Google रैंकिंग ख़तरे में डालने के बजाय सब कुछ खुला छोड़ दिया — उन क्रॉलर्स समेत जिन्हें वह बाहर रखना पसंद करतीं।

ऊपर दिए तथ्यों के साथ, उसके पास एक साफ़ विकल्प है: उसकी robots.txt फ़ाइल साफ़ तौर पर Googlebot को अनुमति दे सकती है (उसकी बेकरी को Google पर पूरी तरह खोजने लायक़ बनाए रखते हुए, बिल्कुल पहले जैसा) जबकि साफ़ तौर पर Google-Extended को मना कर सकती है (उसके मेन्यू विवरण और तस्वीरों को भविष्य के Gemini मॉडलों की ट्रेनिंग से बाहर रखते हुए) — उसकी सर्च विज़िबिलिटी को बिल्कुल भी छुए बिना। Gemini ट्रेनिंग के बारे में फ़ैसला अब एक अलग, जान-बूझकर लिया गया फ़ैसला बन जाता है, न कि कोई साइड इफ़ेक्ट जिसका वह सिर्फ़ अंदाज़ा लगा रही थी।

यह उलझन इतनी आम क्यों है, और आगे इससे कैसे बचें

यह उलझन समझ में आती है: robots.txt ऐतिहासिक रूप से लगभग पूरी तरह सर्च-रैंकिंग का औज़ार रहा है, इसलिए उसमें जोड़ी गई कोई भी नई लाइन भी रैंकिंग से जुड़ी लगती है। Google-Extended उस पुराने पैटर्न को तोड़ता है — यह पहला मुख्यधारा robots.txt टोकन है जो, Google के अपने बयान के अनुसार, स्पष्ट रूप से रैंकिंग से असंबंधित है।

आगे बढ़ने के लिए सबसे सुरक्षित आदत आसान है: अंदाज़ा मत लगाइए। जब कोई नया क्रॉलर या टोकन सामने आए, तो कुछ भी बदलने से पहले यह जानने के लिए उस कंपनी का अपना दस्तावेज़ देखें कि वह असल में क्या नियंत्रित करता है — वही अनुशासन जिस पर यह लेख आधारित है।

FAQ