llms.txt: यह क्या है और इसे कैसे लिखें
लेखक Zakaria Reziki
सीईओ — Growli · 15 अगस्त 2026 · 9 मिनट का पठन
Zakaria Reziki के तय संपादकीय मानकों के तहत AI की मदद से लिखा गया, और स्रोत तथा गुणवत्ता की स्वचालित जाँच के बाद प्रकाशित।
llms.txt एक प्रस्तावित चलन है — आपके डोमेन की जड़ में प्रकाशित एक Markdown फ़ाइल (example.com/llms.txt), जो बड़े भाषा मॉडलों को आपके सबसे काम के पन्नों का छोटा, चुना हुआ नक़्शा ऐसे प्रारूप में देती है जिसे वे नेविगेशन, स्क्रिप्ट और भराव-सामग्री में उलझे बिना पढ़ सकें। इसे सितंबर 2024 में Answer.AI के Jeremy Howard ने पेश किया और यह llmstxt.org पर दर्ज है।
दो बातें एक साथ सच हैं, और इस विषय पर ज़्यादातर लेख आपको सिर्फ़ पहली बताते हैं। यह फ़ाइल सचमुच काम की है अगर आप दस्तावेज़, API संदर्भ या ज्ञान-कोश चलाते हैं जिन्हें पढ़ने को एजेंट कहे जाते हैं। और यह अपनाया गया मानक नहीं है: Google कह चुका है कि वह इसे Search के लिए इस्तेमाल नहीं करता, और हमें ऐसे किसी सहायक विक्रेता की जानकारी नहीं जिसने llms.txt को पन्ने खोजने, रैंक करने या उद्धृत करने के इनपुट के रूप में दर्ज किया हो।
यह गाइड स्पेसिफ़िकेशन को ठीक वैसे ही बताती है जैसे वह लिखी गई है, एक बना-बनाया उदाहरण देती है (हमारी अपनी फ़ाइल), और बताती है कि यह फ़ाइल robots.txt तथा स्ट्रक्चर्ड डेटा के मुक़ाबले कहाँ बैठती है — ताकि आप इसमें लगने वाले बीस मिनट लगाएँ, समझें कि इससे क्या मिलता है, और इसे AI विज़िबिलिटी की रणनीति समझने की भूल न करें।
प्रस्ताव असल में क्या कहता है
llms.txt जिस समस्या के लिए बना, वह क्रॉलिंग नहीं, संदर्भ है। जब कोई मॉडल या एजेंट आपकी साइट से किसी सवाल का जवाब देना चाहता है, तो उसके पास सीमित संदर्भ-खिड़की होती है और सामने होता है दुश्मन जैसा इनपुट: नेविगेशन, कुकी बैनर, साइडबार, विज्ञापन और JavaScript से बने कंटेंट से भरे HTML पन्ने। किसी बड़ी साइट को ऐसी चीज़ में बदलना जिस पर मॉडल सोच सके, ख़र्चीला है और उसमें बहुत कुछ छूट जाता है।
llms.txt का स्पेसिफ़िकेशन दो पूरक इलाज सुझाता है। पहला, /llms.txt पर एक ही Markdown फ़ाइल जो चुनी हुई अनुक्रमणिका की तरह काम करे — यह परियोजना क्या है, और कौन-से पन्ने मायने रखते हैं, प्राथमिकता के क्रम में। दूसरा, हर पन्ने के साफ़ Markdown संस्करण अनुमान लगाने लायक URL पर प्रकाशित करना (/docs/setup वाला पन्ना /docs/setup.md पर भी उपलब्ध), ताकि अनुक्रमणिका से लिंक चुन लेने के बाद एजेंट टेम्पलेट नहीं, पाठ ला सके।
यह क्या नहीं है, इस पर भी ध्यान दीजिए। इसमें कोई निर्देश नहीं, कोई अनुमति या मनाही का नियम नहीं, और कोई अधिकार नहीं। यह वह पठन-सूची है जो आप पेश करते हैं, और कोई भी उपभोक्ता उसे नज़रअंदाज़ करने के लिए स्वतंत्र है। स्पेसिफ़िकेशन जान-बूझकर JSON या XML नहीं बल्कि Markdown है, ठीक इसलिए कि इच्छित उपभोक्ता एक भाषा मॉडल है, और इसलिए भी कि इंसानों को इसे हाथ से सँभाल पाना चाहिए।
अपनाव असल में कहाँ खड़ा है
जो कोई कहे कि llms.txt अब रैंकिंग कारक है, उस पर संदेह कीजिए। Google के John Mueller ने सार्वजनिक रूप से इसकी तुलना पुराने keywords मेटा टैग से की है और कहा है कि Google इसे Search के लिए इस्तेमाल नहीं करता; इसकी रिपोर्टिंग आप Search Engine Roundtable पर देख सकते हैं। Google के अपने क्रॉलिंग और इंडेक्सिंग दस्तावेज़ में इस फ़ाइल का ज़िक्र तक नहीं है; क्रॉलर नियंत्रण के लिए वह जिस फ़ाइल को दर्ज करता है वह robots.txt है।
उपभोक्ता पक्ष पर ईमानदार स्थिति यह है कि किसी बड़े सहायक विक्रेता ने ऐसा दस्तावेज़ प्रकाशित नहीं किया जिसमें कहा गया हो कि उसका क्रॉलर या रिट्रीवल परत /llms.txt से तय करती है कि क्या लाना है या किसका हवाला देना है। जहाँ यह फ़ाइल साफ़-साफ़ इस्तेमाल होती है वह दूसरी दिशा है: डेवलपर किसी चैट में llms.txt का URL चिपका देते हैं या कोडिंग एजेंट को उस ओर इशारा कर देते हैं, और एजेंट लिंक पर चल पड़ता है। यह असली कार्यप्रवाह है, और यही वह कार्यप्रवाह है जिसके लिए स्पेसिफ़िकेशन लिखा गया था।
प्रकाशक पक्ष का अपनाव सबसे साफ़ डेवलपर दस्तावेज़ों में दिखता है, आंशिक रूप से इसलिए कि Mintlify जैसे दस्तावेज़ प्लेटफ़ॉर्म अपनी होस्ट की गई साइटों के लिए यह फ़ाइल अपने आप बना देते हैं। अगर आप दस्तावेज़ भेजते हैं तो यह इसे रखने की अच्छी वजह है — और यह मान लेने की बुरी वजह कि पूरा तंत्र मानक बना चुका है। जिस चलन को अपनाना नाममात्र का सस्ता हो, वह इस बारे में बहुत कम बताता है कि उसे कोई खा भी रहा है या नहीं।
llms.txt कैसे लिखें: ठीक-ठीक प्रारूप
स्पेसिफ़िकेशन दस्तावेज़ का सटीक क्रम तय करता है, और यही क्रम पूरी बात है — उपभोक्ता को इसे अनुमान लगाकर नहीं, बल्कि साधारण Markdown पाठक से पढ़ पाना चाहिए।
एकमात्र ज़रूरी तत्व है एक H1, जिसमें साइट या परियोजना का नाम हो। इसके बाद सब कुछ वैकल्पिक है पर स्थान से बँधा है: H1 के तुरंत बाद एक वैकल्पिक ब्लॉककोट, जिसमें बाक़ी सब समझने के लिए ज़रूरी मुख्य जानकारी का छोटा सारांश हो; फिर शून्य या अधिक Markdown खंड, गद्य या सूचियों के रूप में, अतिरिक्त ब्योरे के साथ, जिनमें कोई शीर्षक न हो; फिर शून्य या अधिक H2 खंड, हर एक में लिंकों की सूची।
लिंक की पंक्तियाँ Markdown की सूची-मद होती हैं, जिनमें एक हाइपरलिंक और कोलन के बाद वैकल्पिक विवरण होता है: नाम, URL, और एक वाक्य जो बताए कि इसे कब पढ़ें। वे विवरण असली काम करते हैं — मॉडल इन्हीं से तय करता है कि आपके पंद्रह लिंकों में से किन दो पर संदर्भ ख़र्च करे, इसलिए इन्हें मार्केटिंग की भाषा नहीं, रास्ता बताने वाले निर्देश की तरह लिखिए।
एक H2 का ख़ास अर्थ है: Optional नाम का खंड। उसके नीचे रखे लिंक तब छोड़े जा सकते हैं जब छोटा संदर्भ चाहिए हो। इसे चेंजलॉग, गहरे संदर्भ-सामग्री और उस हर चीज़ के लिए इस्तेमाल कीजिए जिसके बिना भी पाठक ठीक-ठाक जवाब पा ले। एक अलग चलन, llms-full.txt, जिसमें आपके पूरे दस्तावेज़ का जुड़ा हुआ पाठ होता है, दस्तावेज़ प्लेटफ़ॉर्मों में लोकप्रिय है पर मूल स्पेसिफ़िकेशन का हिस्सा नहीं — इसे अतिरिक्त मानिए, और तभी प्रकाशित कीजिए जब आपकी सामग्री सचमुच आज की संदर्भ-खिड़की में समा जाए।
- इसे डोमेन की जड़ पर /llms.txt के रूप में, text/plain या text/markdown में, HTTPS पर परोसिए।
- छोटा रखिए। दस से तीस चुने हुए लिंक साइटमैप उड़ेल देने से बेहतर हैं; अगर आपको हर URL चाहिए था, तो XML साइटमैप पहले से है।
- ऐसे विवरण लिखिए जो फ़र्क़ करें: “Growli के बारे में और जानें” नहीं, बल्कि “क़ीमत के स्तर और सीमाएँ”।
- सिर्फ़ उन्हीं पन्नों को लिंक कीजिए जो सार्वजनिक रूप से खुले और स्थिर हों। चुनी हुई अनुक्रमणिका में टूटे लिंक, अनुक्रमणिका न होने से बुरे हैं।
- अगर आपके दस्तावेज़ हर हफ़्ते बदलते हैं, तो इसे हाथ से नहीं, बिल्ड में दोबारा बनाइए।
फ़ाइल की संरचना का क्रम
वैध llms.txt के चार स्थान-बद्ध खंड
H1 में परियोजना का नाम
एकमात्र ज़रूरी तत्व — साइट या परियोजना का नाम, एक ही H1 के रूप में।
ब्लॉककोट सारांश
वैकल्पिक, H1 के ठीक बाद: नीचे की हर बात समझने के लिए ज़रूरी मुख्य संदर्भ।
बिना शीर्षक वाला ब्योरा
वैकल्पिक गद्य या सूचियाँ जो पृष्ठभूमि दें। इस खंड में कोई शीर्षक नहीं चलेगा।
H2 लिंक खंड
हर खंड में [नाम](url): विवरण की शक्ल में मदें, जो बताएँ कि वह पन्ना कब पढ़ना है।
Optional खंड
Optional नाम का H2 उन लिंकों को चिह्नित करता है जिन्हें संदर्भ छोटा होने पर उपभोक्ता छोड़ सकता है।
एक बना-बनाया उदाहरण: Growli की अपनी फ़ाइल
हमारी वाली जान-बूझकर छोटी है। Growli नापता है कि AI सहायक कारोबारों का ज़िक्र और सिफ़ारिश कैसे करते हैं, इसलिए किसी एजेंट को जिन पन्नों की ज़रूरत है वे हैं: उत्पाद क्या करता है, मापन कैसे काम करता है, क़ीमत, और वे शोध लेख जो हमारी शब्दावली गढ़ते हैं। और किसी को जगह नहीं मिलती।
फ़ाइल की तरह पढ़ें तो यह है एक H1, एक ब्लॉककोट सारांश, और फिर दो H2 खंड — जिनमें दूसरा Optional है। नीचे की हर पंक्ति उसी फ़ाइल की एक पंक्ति है:
- # Growli
- > Growli ट्रैक करता है कि AI सहायक — ChatGPT, Gemini, Claude, Perplexity, Copilot और Grok — कारोबारों का ज़िक्र, तुलना और सिफ़ारिश कैसे करते हैं, और कमियों को प्राथमिकता वाले कामों में बदल देता है।
- ## Core
- यह कैसे काम करता है: मापन की विधि — प्रॉम्प्ट सेट, चलाने की लय, और ज़िक्र तथा सिफ़ारिशों को आँकने का तरीक़ा।
- AI विज़िबिलिटी: मापदंड की परिभाषा, इसे क्या हिलाता है, और क्या नहीं।
- ## Optional
- ब्लॉग: सहायकों के बर्ताव, हवालों के पैटर्न और मापन पद्धति पर शोध लेख।
robots.txt और स्ट्रक्चर्ड डेटा के बग़ल में इसकी जगह
ये तीनों फ़ाइलें तीन अलग सवालों के जवाब देती हैं, और इन्हें मिला देना वह सबसे आम ग़लती है जो हम ऑडिट में देखते हैं।
robots.txt इस सवाल का जवाब देती है कि क्या तुम इसे ला सकते हो — यह क्रॉलर की पहुँच नियंत्रित करने वाली फ़ाइल है, जिसका पार्सिंग बर्ताव बरसों से दर्ज है, और यहीं आप नाम लेकर AI क्रॉलरों को अनुमति देते या रोकते हैं। अगर आप ट्रेनिंग या क्रॉलिंग सीमित करना चाहते हैं, तो वह वहीं और आपकी शर्तों में होता है, llms.txt में कभी नहीं। स्ट्रक्चर्ड डेटा इस सवाल का जवाब देता है कि यह है क्या — JSON-LD में Schema.org की शब्दावली से आप असंदिग्ध रूप से कह सकते हैं कि आप इस नाम वाले Organization हैं, ये आपके उत्पाद हैं, यह क़ीमत और ये समीक्षाएँ — यही वह मशीन-पठनीय तथ्य है जो सार बनाए जाने पर भी बचा रहता है। llms.txt सिर्फ़ इसका जवाब देती है कि पहले क्या पढ़ूँ, उस उपभोक्ता के लिए जो आपको पढ़ने का फ़ैसला कर चुका है।
मेहनत के मुक़ाबले फल के हिसाब से क्रम बेरौनक़ पर एक जैसा है: पहले क्रॉल होने की क्षमता और सर्वर पर रेंडर होती सामग्री ठीक कीजिए, फिर एंटिटी-स्तर का स्ट्रक्चर्ड डेटा, फिर llms.txt। ऐसे पन्नों के लिंक गिनाती फ़ाइल जो JavaScript के बिना ख़ाली दिखते हैं, किसी के काम नहीं आती।
तीन फ़ाइलें, तीन काम
कौन-सी फ़ाइल किस सवाल का जवाब देती है
robots.txt — क्या तुम इसे ला सकते हो?
क्रॉलर की पहुँच का नियंत्रण, जिसमें नाम लेकर AI क्रॉलरों को अनुमति देना या रोकना शामिल है। Google Search Central इसे दर्ज करता है।
Schema.org JSON-LD — यह है क्या?
आपके संगठन, उत्पादों, क़ीमतों और समीक्षाओं को ऐसे मशीन-पठनीय तथ्यों के रूप में बताता है जो सार बनने पर भी बचे रहते हैं।
llms.txt — पहले क्या पढ़ूँ?
उस उपभोक्ता के लिए चुनी हुई Markdown अनुक्रमणिका जो आपको पढ़ने का फ़ैसला कर चुका है। न कोई अधिकार, न कोई निर्देश।
तो क्या आपको एक प्रकाशित करनी चाहिए?
हाँ, अगर आपके पास दस्तावेज़, कोई API, डेवलपर उत्पाद या ज्ञान-कोश है — लागत कुछ मिनटों की है, फ़ाइल इंसान के पढ़ने लायक है, और वह कार्यप्रवाह जिसमें कोई एजेंट को आपका llms.txt URL थमा देता है, पहले से आम है। इसे प्रकाशित कीजिए, सही रखिए, और आगे बढ़िए।
अगर आप स्थानीय सेवा कारोबार हैं, ई-कॉमर्स कैटलॉग हैं, या बारह पन्नों की मार्केटिंग साइट हैं, तो शायद इसे प्राथमिकता देने लायक नहीं। इसका कोई सबूत नहीं कि इससे बदलता है कि कोई सहायक आपको सुझाता है या नहीं, और वह मेहनत उन चीज़ों पर बेहतर लगती है जिन्हें सहायक साफ़ तौर पर पढ़ते हैं: JavaScript के बिना रेंडर होते पन्ने, स्पष्ट तुलना और क़ीमत की सामग्री, आपकी साइट और तीसरे पक्ष की लिस्टिंग में एक जैसे एंटिटी तथ्य, और उन समीक्षा साइटों तथा सूची-लेखों में मौजूदगी जिन पर मॉडल “Y के लिए सबसे अच्छा X” का जवाब देते समय टिकते हैं।
ईमानदार कसौटी मापन है। ट्रैक कीजिए कि सहायक आपका नाम कितनी बार लेते हैं, किन प्रॉम्प्ट पर, और तब किन स्रोतों का हवाला देते हैं — हमारी AI विज़िबिलिटी ट्रैकिंग इसी के लिए बनी है, और यह कैसे काम करता है विधि समझाता है। अगर llms.txt प्रकाशित करने से आपकी साइट के लिए वे आँकड़े हिलते हैं, तो आपको दिखेगा। अगर नहीं हिलते, तो आपने बीस मिनट ख़र्च किए और एक सच्ची बात सीख ली।
देखें कि AI आपके कारोबार के बारे में क्या कहता है
Growli ChatGPT, Gemini, Claude और Perplexity के जवाबों में आपकी हिस्सेदारी मापता है — और हर कमी को प्राथमिकता वाली कार्रवाइयों में बदल देता है।
शुरू करेंFAQ
नहीं। Google के John Mueller ने सार्वजनिक रूप से कहा है कि Google Search के लिए llms.txt इस्तेमाल नहीं करता और इसकी तुलना पुराने keywords मेटा टैग से की है, और यह फ़ाइल Google Search Central के क्रॉलिंग तथा इंडेक्सिंग दस्तावेज़ में कहीं नहीं आती। क्रॉलर निर्देशों के लिए Google जिस फ़ाइल को दर्ज करता है वह robots.txt है।
किसी बड़े सहायक विक्रेता का ऐसा सार्वजनिक दस्तावेज़ नहीं है जिसमें कहा गया हो कि उसके क्रॉलर या रिट्रीवल सिस्टम /llms.txt को खोज या रैंकिंग संकेत के रूप में इस्तेमाल करते हैं। जो भरोसे के साथ होता है वह हाथ से और एजेंट के ज़रिए इस्तेमाल है: किसी उपयोगकर्ता या कोडिंग एजेंट को उस URL की ओर इशारा किया जाता है और वह उसमें मौजूद लिंक पर चलता है। इसे उसी काम के लिए प्रकाशित कीजिए, किसी मान लिए गए स्वचालित फ़ायदे के लिए नहीं।
robots.txt पहुँच नियंत्रण की फ़ाइल है जिसका क्रॉलर-पार्सिंग बर्ताव दर्ज है: यह नाम लेकर क्रॉलरों को बताती है कि वे कौन-से रास्ते ला सकते हैं और कौन-से नहीं। llms.txt में कोई निर्देश नहीं होते और वह कोई अधिकार नहीं देती — यह चुनी हुई Markdown पठन-सूची है जो सुझाती है कि कौन-से पन्ने सबसे काम के हैं। AI क्रॉलरों को रोकना या अनुमति देना robots.txt का काम है; llms.txt यह कर ही नहीं सकती।
llms-full.txt एक चलन है, जिसे दस्तावेज़ प्लेटफ़ॉर्मों ने लोकप्रिय किया, और जो आपके पूरे दस्तावेज़ का पाठ एक ही फ़ाइल में जोड़ देता है ताकि कोई एजेंट सब कुछ एक बार में लोड कर सके। यह मूल llms.txt स्पेसिफ़िकेशन का हिस्सा नहीं है। इसे तभी प्रकाशित कीजिए जब आपका दस्तावेज़ सचमुच एक संदर्भ-खिड़की में समा जाए; वरना चुनी हुई अनुक्रमणिका और साफ़ .md संस्करण ज़्यादा काम के हैं।
इसे अपने डोमेन की जड़ पर परोसिए — example.com/llms.txt — HTTPS पर, text/plain या text/markdown के रूप में। llmstxt.org का स्पेसिफ़िकेशन Markdown माँगता है, और संरचना मायने रखती है: साइट के नाम वाला एक H1, उसके ठीक नीचे वैकल्पिक ब्लॉककोट सारांश, बिना शीर्षक वाला वैकल्पिक गद्य, और फिर लिंक सूचियों वाले H2 खंड।
इसका कोई सबूत नहीं, और जो कोई इसे AI विज़िबिलिटी की तरकीब बताकर बेचे, उससे सावधान रहिए। सहायक उसी सामग्री पर प्रतिक्रिया देते हैं जिसे वे सचमुच ला सकते हैं, और इस पर कि पूरी वेब में आपको कैसे बताया जाता है: सर्वर पर रेंडर होते पन्ने, साफ़ क़ीमत और तुलना की सामग्री, एक जैसे एंटिटी तथ्य, और तीसरे पक्ष की कवरेज। llms.txt इसलिए प्रकाशित कीजिए कि यह सस्ती है और उन एजेंटों के काम आती है जिन्हें आप बुलाते हैं, और फिर नापिए कि कुछ बदला या नहीं।