AI विज़िबिलिटी ऑडिट: 20 बिंदुओं की चेकलिस्ट

यह ऑडिट असल में क्या आँक रहा है

दाँव पहले ब्रांड की नहीं, क्लिक की समस्या है। Pew Research Center ने असली Google उपयोगकर्ताओं को ट्रैक किया और पाया कि जब AI सारांश दिखा, तो लोगों ने पारंपरिक नतीजे पर 8% विज़िट में क्लिक किया, जबकि बिना सारांश वाली विज़िट में 15% — और सारांश के भीतर के लिंक पर सिर्फ़ 1% ने। सारांश के नीचे रैंक करने से ज़्यादा मायने यह रखता है कि सारांश जिससे बना है, वह स्रोत आप हों।

तो यह ऑडिट पाँच चीज़ों को सख़्त निर्भरता-क्रम में आँकता है। क्रॉल होने की क्षमता तय करती है कि रिट्रीवल एजेंट आपको पढ़ भी सकते हैं या नहीं। एंटिटी की एकरूपता तय करती है कि मॉडल आपके नाम को एक असंदिग्ध संगठन तक पहुँचा सकता है या नहीं। बाहर से अर्जित संकेत तय करते हैं कि आपके अपने डोमेन के बाहर आपके कहे की पुष्टि करने वाला कुछ है या नहीं। उद्धरण योग्यता तय करती है कि आपके वाक्य निकाले जाने पर टिकते हैं या नहीं। मापन तय करता है कि आप जान भी सकते हैं कि इनमें से कुछ बदला या नहीं।

हर बिंदु को बिना आंशिक अंक के पास या फ़ेल दीजिए। आधे अंक ही वह तरीक़ा हैं जिससे ऑडिट 40 पन्नों का दस्तावेज़ बन जाता है जिस पर कोई काम नहीं करता। बीस जाँचें, बीस दो-टूक जवाब, फिर विफलताओं पर ऊपर से नीचे काम। यह अनुशासन क्यों मौजूद है, इसका व्यापक ढाँचा हमारे AI विज़िबिलिटी वाले परिचय में है।

भाग 1 — AI के लिए क्रॉल होने की क्षमता (बिंदु 1–4)

रिट्रीवल एजेंट और ट्रेनिंग क्रॉलर एक चीज़ नहीं हैं, और यही वह फ़र्क़ है जहाँ ज़्यादातर robots.txt फ़ाइलें ग़लती करती हैं। OpenAI अपने बॉट दस्तावेज़ में तीन अलग यूज़र एजेंट दर्ज करता है — ट्रेनिंग के लिए GPTBot, सर्च इंडेक्सिंग के लिए OAI-SearchBot, और उपयोगकर्ता के कहने पर लाइव लाने के लिए ChatGPT-User। Anthropic अपने सपोर्ट लेख में ClaudeBot और उसे रोकने के निर्देश देता है, और Perplexity PerplexityBot तथा Perplexity-User प्रकाशित करता है। ट्रेनिंग क्रॉलर रोकना एक जायज़ कारोबारी फ़ैसला है; रिट्रीवल एजेंट को ग़लती से रोक देना ख़ुद को नुक़सान पहुँचाना है।

Copilot के उत्तर Bing के इंडेक्स पर टिके हैं, इसलिए अगर आप Bing Webmaster Tools में सत्यापित नहीं हैं, तो छह प्रमुख सहायकों में से एक पर आप आँख मूँदकर चल रहे हैं।

• 1. robots.txt रिट्रीवल एजेंट को अनुमति देता है। जाँच: अपना /robots.txt लाइए और GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended और Bingbot खोजिए। पास: व्यावसायिक रूप से अहम पथों पर हर रिट्रीवल एजेंट को अनुमति हो, और ट्रेनिंग क्रॉलर पर कोई रोक हो तो वह नक़ल किया टेम्पलेट नहीं बल्कि दर्ज किया गया फ़ैसला हो।
• 2. एज पर कोई रोक नहीं। जाँच: अपने पाँच सबसे अहम URL पर हर एजेंट की यूज़र-एजेंट स्ट्रिंग से, दफ़्तर से नहीं बल्कि डेटासेंटर IP से curl कीजिए। पास: HTTP 200 और पूरा HTML — न 403, न 429, न आपके WAF या CDN का बॉट-चैलेंज पर्दा।
• 3. शुरुआती HTML में सामग्री मौजूद है। जाँच: कच्चा सोर्स देखिए, या JavaScript बंद करके पन्ना लाइए। पास: शीर्षक, मुख्य पाठ, क़ीमत, विनिर्देश और मुख्य तथ्य — सब हाइड्रेशन से पहले मौजूद हों। अगर आपका प्रोडक्ट पन्ना ख़ाली div है, तो robots.txt चाहे जो कहे, आप अदृश्य हैं।
• 4. साइटमैप, कैनोनिकल और गति ठीक हैं। जाँच: आमदनी से जुड़ा हर URL XML साइटमैप में हो, 200 लौटाए, और अपने ही पते वाला कैनोनिकल रखे। पास: कोई अनाथ पन्ना नहीं, कोई कैनोनिकल रीडायरेक्ट की शृंखला की ओर नहीं, और HTML इतनी तेज़ी से पहुँचे कि समय-सीमा वाला फ़ेच पूरा हो जाए।

भाग 2 — एंटिटी की एकरूपता (बिंदु 5–8)

“X कौन है” का जवाब देता मॉडल बहुत सारे परस्पर विरोधी पाठ के बीच एंटिटी सुलझा रहा होता है। अगर आप चार जगहों पर “Acme”, “Acme Inc.”, “Acme Software” और “ACME” हैं, और पड़ोसी बाज़ार में कोई दूसरी Acme भी मौजूद है, तो सहायक या तो हिचकेगा या दोनों को मिला देगा। मिलाया जाना नदारद होने से बुरा है: आप किसी और की क़ीमत और किसी और की शिकायतें विरासत में पा जाते हैं।

स्ट्रक्चर्ड डेटा आपके पास मौजूद सबसे सस्ता स्पष्टीकरण-लीवर है। Google का स्ट्रक्चर्ड डेटा दस्तावेज़ तंत्र बताता है, और पहचान का काम sameAs प्रॉपर्टी करती है — यह आपकी साइट को उन बाहरी प्रोफ़ाइलों से जोड़ती है जो उसी इकाई का वर्णन करती हैं।

• 5. आधिकारिक नाम की एक ही पंक्ति। जाँच: होमपेज, फ़ुटर, LinkedIn, Crunchbase, समीक्षा प्रोफ़ाइल और प्रेस बॉयलरप्लेट में क़ानूनी और व्यापारिक नाम खोजिए। पास: वर्तनी, बड़े-छोटे अक्षर और प्रत्यय हर जगह एक जैसे हों, और अलग रूप सिर्फ़ स्पष्ट उपनाम के तौर पर इस्तेमाल हों।
• 6. sameAs के साथ Organization स्कीमा। जाँच: अपना होमपेज किसी स्ट्रक्चर्ड डेटा वैलिडेटर से चलाइए। पास: name, url, logo, description सहित वैध Organization (या LocalBusiness) नोड, और आपकी सत्यापित बाहरी प्रोफ़ाइलों की ओर इशारा करता sameAs सरणी।
• 7. प्लेटफ़ॉर्मों पर प्रोफ़ाइल की समानता। जाँच: अपनी सभी नियंत्रित प्रोफ़ाइलें — LinkedIn, Crunchbase, G2, GitHub, ऐप स्टोर, स्थानीय लिस्टिंग — साथ-साथ खोलिए। पास: एक वाक्य का वही विवरण, वही स्थापना वर्ष, वही श्रेणी, वही पता और फ़ोन, वही URL स्वरूप।
• 8. सार्वजनिक पहचान जो सुलझ सके। जाँच: Wikidata और Wikipedia पर अपना नाम खोजिए और देखिए क्या आता है। पास: या तो सही Wikidata आइटम जिसमें उद्योग, स्थापना तिथि और आधिकारिक वेबसाइट Wikidata की उल्लेखनीयता नीति के अनुसार भरी हों, या कम से कम आपके अपने नाम पर कोई प्रतिद्वंद्वी इकाई आपसे ऊपर न आती हो।

भाग 3 — साइट के बाहर अर्जित संकेत (बिंदु 9–12)

सहायक छँटनी-सूचियाँ विक्रेता की साइटों से कहीं ज़्यादा तीसरे पक्ष के स्रोतों से बनाते हैं। जब कोई किसी श्रेणी का सबसे अच्छा टूल पूछता है, तो मॉडल आम तौर पर सूची-लेख, समीक्षा प्लेटफ़ॉर्म, संपादकीय कवरेज और कम्युनिटी थ्रेड जोड़ रहा होता है। उस मिश्रण में आपका अपना तुलना पन्ना कमज़ोर इनपुट है; जिस प्रकाशन का पन्ना उस क्वेरी पर पहले से रैंक करता है, उसका सूची-लेख मज़बूत इनपुट है।

यह सबसे धीमे हिलने वाली श्रेणी है, और ठीक इसीलिए इसका ऑडिट जल्दी होना चाहिए। छठे महीने में पता चलना कि आप हर श्रेणी सूची-लेख से नदारद हैं, robots.txt की ग़लती पकड़ने से कहीं महँगी खोज है।

• 9. श्रेणी सूची-लेखों में कवरेज। जाँच: वे दस “[उपयोग] के लिए सबसे अच्छा [श्रेणी]” क्वेरी चलाइए जो आपके ख़रीदार सचमुच इस्तेमाल करते हैं, शीर्ष दस ऑर्गैनिक नतीजे सूचीबद्ध कीजिए, और दर्ज कीजिए कि उनमें से किनमें आप हैं। पास: आधे से ज़्यादा में मौजूदगी, और विवरण सही।
• 10. समीक्षा प्लेटफ़ॉर्म पर गहराई और ताज़गी। जाँच: अपनी श्रेणी में जो दो-तीन समीक्षा साइटें मायने रखती हैं, वहाँ कुल समीक्षाएँ, पिछली तिमाही की समीक्षाएँ, और कितनों में सिर्फ़ स्टार नहीं बल्कि सारवान गद्य है — यह गिनिए। पास: हाल की लगातार आवक, और इतना पाठ कि मॉडल किसी ख़ास ख़ूबी को उद्धृत कर सके।
• 11. स्वतंत्र संपादकीय ज़िक्र। जाँच: अपने डोमेन और अपनी प्रेस-विज्ञप्ति वितरण को छोड़कर अपना ब्रांड नाम खोजिए। पास: कम से कम कुछ स्वतंत्र लेख जो एक वाक्य में बताते हों कि आप क्या करते हैं, और जिसे मॉडल हूबहू उठा सके।
• 12. समुदाय में मौजूदगी। जाँच: Reddit, Stack Overflow, Hacker News और आपके ख़रीदारों के इस्तेमाल वाले विशिष्ट फ़ोरमों पर अपना ब्रांड खोजिए। पास: असली थ्रेड जहाँ ग्राहक नतीजे बताते हों — सिर्फ़ आपकी अपनी टीम की पोस्टें नहीं, और बिना जवाब वाली शिकायतों की दीवार भी नहीं।

भाग 4 — कंटेंट की उद्धरण योग्यता (बिंदु 13–16)

उद्धरण योग्यता लिखने की एक शर्त है, मात्रा का लक्ष्य नहीं। जवाब निकालता मॉडल ऐसा अपने आप में पूरा कथन चाहता है जिसे आसपास के पैराग्राफ़ के बिना उद्धृत किया जा सके। जो लेख कुछ भी परिभाषित करने से पहले तीन पैराग्राफ़ गरमाहट लेता है, वह उसे ले जाने लायक कुछ नहीं देता। जो लेख सीधे कथन वाक्य से शुरू होता है, जिसमें विषय, परिभाषा और एक शर्त हो, वह उद्धृत होता है।

दूसरी शर्त विशिष्टता है। “तेज़ सेटअप” उद्धरण योग्य नहीं है। “मानक Shopify इंस्टॉल के लिए सेटअप 30 मिनट से कम में” उद्धरण योग्य है, जाँचने योग्य है और उपयोगकर्ता को दोहराकर बताया जा सकता है। संख्याएँ, इकाइयाँ, तारीख़ें और नाम लेकर बताई शर्तें — ये सब इस संभावना को बढ़ाती हैं कि आपका वाक्य ज्यों का त्यों निकाला जाए।

तीसरी सीमाओं के बारे में ईमानदारी है। सहायकों से अक्सर तुलनात्मक सवाल पूछे जाते हैं, और जो पन्ने बताते हैं कि उत्पाद किनके लिए नहीं है, वे उन पन्नों से ज़्यादा भरोसेमंद माने जाते हैं जो सबके लिए फ़िट होने का दावा करते हैं।

• 13. जवाब पहले वाली संरचना। जाँच: अपने दस सबसे अहम पन्नों के पहले 40 शब्द अलग से पढ़िए। पास: हर एक शीर्षक के सवाल का जवाब अपने आप में पूरे वाक्य में दे, और उसमें ऐसा सर्वनाम न हो जिसे समझने के लिए पिछला पैराग्राफ़ चाहिए।
• 14. तथ्यों के साथ इकाई और तारीख़। जाँच: किसी अहम पन्ने के हर दावे को चिह्नित कीजिए और पूछिए कि क्या कोई अजनबी इसे सत्यापित कर सकता है। पास: मात्राएँ, समय-सीमाएँ, क़ीमतें, हदें और इंटीग्रेशन साफ़-साफ़ लिखे हों, और बदलने वाले हर आँकड़े के साथ तारीख़ हो।
• 15. तुलना और क़ीमत के पन्ने अपनी सीमाएँ ख़ुद बताते हैं। जाँच: क्या कोई पन्ना बताता है कि उत्पाद किनके लिए ठीक नहीं? पास: “अगर ऐसा है तो यह ठीक नहीं रहेगा” वाला स्पष्ट खंड, और क़ीमत फ़ॉर्म के पीछे नहीं बल्कि साइट पर लिखी हो।
• 16. संरचना मशीन-पठनीय है। जाँच: शीर्षक, तालिकाएँ, FAQ खंड और URL की स्थिरता। पास: H2 उन्हीं सवालों के रूप में लिखे हों जो ख़रीदार पूछते हैं, विनिर्देश गद्य के बजाय तालिकाओं में हों, और पन्ना अपडेट होने पर URL न बदलें।

भाग 5 — मापन (बिंदु 17–20)

एक ही प्रॉम्प्ट पर भी सहायकों के उत्तर हर रन में बदलते हैं, इसलिए एक क्वेरी क़िस्सा भर है। मापन का मतलब है तय प्रॉम्प्ट सेट, कई सहायकों पर बार-बार चलाया गया, और नतीजे सहेजे गए — ताकि आप दो तारीख़ों की तुलना कर सकें और हलचल को अपने किए किसी बदलाव से जोड़ सकें।

प्रॉम्प्ट सेट उसी भाषा से बनाइए जो ख़रीदार सचमुच बोलते हैं — बिक्री कॉल के ट्रांसक्रिप्ट, सपोर्ट टिकट, और आपके सर्च कंसोल की क्वेरी — कीवर्ड टूल से नहीं। इन्हें मंशा के चरण से समूहित कीजिए: श्रेणी की खोज, छँटनी-सूची की तुलना, आपत्तियों का जवाब, और ब्रांडेड क्वेरी। जिस छँटनी-सूची प्रॉम्प्ट में आप कभी नहीं आते, वह उस ब्रांडेड प्रॉम्प्ट से अलग समस्या है जिसमें आप ग़लत विवरण के साथ आते हैं।

यही हिस्सा Growli स्वचालित करता है: हम आपका प्रॉम्प्ट सेट ChatGPT, Gemini, Claude, Perplexity, Copilot और Grok पर तय समय पर चलाते हैं, ज़िक्र-दर, प्रतिस्पर्धियों की हिस्सेदारी, भाव और हर सहायक द्वारा उद्धृत URL ट्रैक करते हैं, फिर कमियों को मेहनत और असर के हिसाब से क्रम में लगाते हैं। यह कैसे काम करता है पन्ने पर पूरी प्रक्रिया है।

• 17. दर्ज किया हुआ प्रॉम्प्ट सेट मौजूद है। जाँच: क्या कोई फ़ाइल है जिसमें मंशा के चरण से समूहित 30–100 प्रॉम्प्ट हों? पास: प्रॉम्प्ट ख़रीदार की भाषा में हों, बिना-ब्रांड और ब्रांडेड दोनों मंशाएँ ढँकें, और वर्ज़न-नियंत्रित हों ताकि बदलाव दिखें।
• 18. कई सहायकों पर दोहराए गए रन। जाँच: कितने सहायक, और हर अवधि में प्रति प्रॉम्प्ट कितने रन? पास: कम से कम चार सहायक, प्रति प्रॉम्प्ट कई रन, और चैट थ्रेड के स्क्रीनशॉट नहीं बल्कि सहेजा हुआ इतिहास।
• 19. प्रतिस्पर्धी और गुणात्मक ट्रैकिंग। जाँच: क्या आप दर्ज करते हैं कि आपके साथ कौन-से प्रतिस्पर्धी आते हैं, और आपको कैसे बताया जाता है? पास: हर प्रॉम्प्ट समूह के लिए नामित हिस्सेदारी, और तथ्यात्मक रूप से ग़लत विवरणों पर निशान — पूरे ऑडिट में सबसे ऊँची प्राथमिकता वाली सुधार यही हैं।
• 20. उद्धृत स्रोत और रेफ़रल ट्रैफ़िक। जाँच: आपकी श्रेणी का ज़िक्र करते समय सहायक किन URL का हवाला देते हैं, और क्या आपका एनालिटिक्स सहायक डोमेन से आए रेफ़रल अलग करता है? पास: उन तीसरे पक्ष के पन्नों की क्रमित सूची जो आपकी श्रेणी के उत्तरों को पोसते हैं, और AI सहायक रेफ़रर के लिए सहेजा हुआ एनालिटिक्स व्यू।

अंक जोड़िए और विफलताओं को काम-सूची में बदलिए

पास की गिनती जोड़िए। सोलह या उससे ज़्यादा हों तो आपकी समस्या ढाँचागत नहीं, प्रतिस्पर्धात्मक है — मेहनत बाहर से अर्जित संकेतों पर और उन ख़ास प्रॉम्प्ट पर लगाइए जहाँ कोई प्रतिस्पर्धी छाया हुआ है। 11 से 15 के बीच तस्वीर मिली-जुली है: पहले हफ़्ते में क्रॉल क्षमता और एंटिटी वाले बिंदु ठीक कीजिए, क्योंकि वही नीचे की हर चीज़ का दरवाज़ा हैं। दस या उससे कम हों तो जब तक फ़ेच का रास्ता और एंटिटी का ताना-बाना साफ़ न हो, नया कंटेंट बनवाना ही नहीं चाहिए।

अंक से ज़्यादा क्रम मायने रखता है। क्रॉल क्षमता की विफलता उस दौरान किए गए हर कंटेंट निवेश को बेकार कर देती है, और आम तौर पर यह CDN पर एक पंक्ति का सुधार होता है। एंटिटी की विफलताएँ दिनों में ठीक होती हैं। उद्धरण योग्यता के लिए दोबारा लिखना हफ़्तों में। बाहर से अर्जित संकेत तिमाहियों में। इसी क्रम में काम करने से हर सुधार पिछले पर जुड़ता है, बजाय उन पन्नों पर बर्बाद होने के जिन्हें सहायक कभी लाते ही नहीं।

पूरा ऑडिट हर तिमाही दोहराइए और मापन वाले बिंदु लगातार चलाइए। क्रॉलर के यूज़र एजेंट बदलते हैं, सुरक्षा टीम का कोई CDN नियम कस देता है, समीक्षाओं की मात्रा घटती है, और श्रेणी सूची-लेख आपके बिना दोबारा लिखे जाते हैं। यह ऑडिट एक नियंत्रण है, प्रोजेक्ट नहीं।

FAQ