llms.txt คืออะไร และเขียนอย่างไร

ข้อเสนอนี้ระบุอะไรไว้จริง

ปัญหาที่ llms.txt ถูกออกแบบมาแก้คือเรื่องบริบท ไม่ใช่การเก็บข้อมูล เมื่อโมเดลหรือเอเจนต์ต้องตอบคำถามโดยใช้เว็บไซต์ของคุณ มันมีหน้าต่างบริบทจำกัดและมีอินพุตที่ไม่เป็นมิตร คือหน้า HTML ที่เต็มไปด้วยเมนู แบนเนอร์คุกกี้ แถบด้านข้าง โฆษณา และเนื้อหาที่เรนเดอร์ด้วย JavaScript การแปลงเว็บไซต์ขนาดใหญ่ให้เป็นสิ่งที่โมเดลใช้คิดต่อได้นั้นทั้งสูญเสียข้อมูลและแพง

ข้อกำหนดของ llms.txt เสนอทางแก้สองอย่างที่เสริมกัน อย่างแรกคือไฟล์ Markdown ไฟล์เดียวที่ /llms.txt ซึ่งทำหน้าที่เป็นสารบัญที่คัดสรรแล้ว บอกว่าโครงการนี้คืออะไร และหน้าไหนสำคัญบ้าง เรียงตามลำดับความสำคัญ อย่างที่สองคือการเผยแพร่หน้าแต่ละหน้าในเวอร์ชัน Markdown ที่สะอาดไว้ที่ URL ซึ่งเดาได้ เช่นหน้าที่ /docs/setup ก็เปิดได้ที่ /docs/setup.md ด้วย เพื่อว่าเมื่อเอเจนต์เลือกลิงก์จากสารบัญของคุณแล้ว มันจะดึงข้อความมาได้แทนที่จะได้เทมเพลต

สังเกตด้วยว่ามันไม่ใช่อะไร มันไม่มีคำสั่ง ไม่มีกฎอนุญาตหรือห้าม และไม่ให้สิทธิ์ใด ๆ มันคือรายการอ่านที่คุณยื่นให้ และผู้รับคนไหนก็มีสิทธิ์เพิกเฉยได้ ข้อกำหนดเลือกใช้ Markdown แทน JSON หรือ XML โดยตั้งใจ เพราะผู้รับที่ตั้งใจไว้คือโมเดลภาษา และเพราะมนุษย์ต้องดูแลไฟล์นี้ด้วยมือได้

การรับมาใช้จริงอยู่ตรงไหน

ให้ระแวงใครก็ตามที่อ้างว่า llms.txt กลายเป็นปัจจัยจัดอันดับไปแล้ว John Mueller จาก Google เปรียบมันกับ meta tag keywords ในอดีตอย่างเปิดเผย และระบุว่า Google ไม่ได้ใช้มันสำหรับ Search ซึ่งมีรายงานอยู่ที่ Search Engine Roundtable เอกสารเรื่องการเก็บข้อมูลและการจัดทำดัชนีของ Google เองก็ไม่ได้เอ่ยถึงไฟล์นี้เลย ไฟล์ที่ Google ระบุไว้สำหรับควบคุมบ็อตคือ robots.txt

ในฝั่งผู้ใช้ข้อมูล จุดยืนที่ตรงไปตรงมาคือ ยังไม่มีผู้ให้บริการผู้ช่วย AI รายใหญ่รายใดเผยแพร่เอกสารว่าบ็อตหรือชั้นการค้นหาของตนใช้ /llms.txt ในการตัดสินว่าจะดึงอะไรหรืออ้างอิงอะไร ที่เห็นได้ชัดว่ามีการใช้จริงกลับเป็นทิศทางตรงข้าม นักพัฒนาวาง URL ของ llms.txt ลงในแชต หรือชี้เอเจนต์เขียนโค้ดไปที่ไฟล์นั้น แล้วเอเจนต์ก็เดินตามลิงก์ นั่นคือกระบวนการทำงานจริง และเป็นกระบวนการที่ข้อกำหนดนี้ถูกเขียนขึ้นมาเพื่อรองรับ

การรับมาใช้ในฝั่งผู้เผยแพร่เห็นได้ชัดที่สุดในเอกสารสำหรับนักพัฒนา ส่วนหนึ่งเพราะแพลตฟอร์มเอกสารอย่าง Mintlify สร้างไฟล์นี้ให้อัตโนมัติสำหรับเว็บไซต์ที่ตัวเองโฮสต์ นั่นเป็นเหตุผลที่ดีในการมีไฟล์นี้ถ้าคุณส่งเอกสารประกอบ และเป็นเหตุผลที่ไม่ดีในการเหมาว่าทั้งวงการทำให้มันเป็นมาตรฐานไปแล้ว ธรรมเนียมที่รับมาใช้ได้แทบไม่มีต้นทุน บอกอะไรน้อยมากว่ามีใครนำไปใช้จริงหรือไม่

เขียน llms.txt อย่างไร รูปแบบที่ถูกต้อง

ข้อกำหนดนี้นิยามลำดับของเอกสารไว้อย่างแม่นยำ และลำดับนั่นแหละคือหัวใจ ผู้รับควรแยกวิเคราะห์ไฟล์ได้ด้วยตัวอ่าน Markdown ธรรมดา ไม่ต้องใช้การเดา

องค์ประกอบเดียวที่จำเป็นคือ H1 ที่บรรจุชื่อเว็บไซต์หรือชื่อโครงการ ทุกอย่างหลังจากนั้นเป็นทางเลือกแต่ถูกกำหนดตำแหน่งไว้ คือบล็อกอ้างคำแบบเลือกได้ที่อยู่ถัดจาก H1 ทันที ซึ่งบรรจุคำสรุปสั้น ๆ พร้อมข้อมูลสำคัญที่ต้องใช้เพื่อเข้าใจส่วนที่เหลือ จากนั้นเป็นส่วน Markdown ที่เป็นร้อยแก้วหรือรายการ ซึ่งจะมีกี่ส่วนก็ได้หรือไม่มีเลย โดยห้ามมีหัวข้อในส่วนนี้ แล้วจึงเป็นหัวข้อ H2 ซึ่งจะมีกี่ส่วนก็ได้ แต่ละส่วนบรรจุรายการลิงก์

บรรทัดลิงก์อยู่ในรูปรายการของ Markdown ที่มีไฮเปอร์ลิงก์และคำอธิบายแบบเลือกได้หลังเครื่องหมายทวิภาค คือชื่อ ตามด้วย URL แล้วตามด้วยประโยคที่อธิบายว่าควรอ่านเมื่อไร คำอธิบายเหล่านั้นทำงานจริง เพราะมันคือสิ่งที่โมเดลใช้ตัดสินว่าจะใช้บริบทไปกับสองลิงก์ไหนจากสิบห้าลิงก์ของคุณ ให้เขียนมันเป็นคำแนะนำนำทาง ไม่ใช่ข้อความโฆษณา

มี H2 หนึ่งหัวข้อที่มีความหมายพิเศษ คือหัวข้อชื่อ Optional ลิงก์ที่วางไว้ใต้หัวข้อนี้อาจถูกข้ามได้เมื่อจำเป็นต้องใช้บริบทที่สั้นกว่า ใช้สำหรับบันทึกการเปลี่ยนแปลง เอกสารอ้างอิงเชิงลึก และอะไรก็ตามที่ผู้อ่านตอบได้อยู่ดีโดยไม่ต้องมี ส่วนธรรมเนียมอีกอย่างคือ llms-full.txt ซึ่งบรรจุข้อความทั้งหมดของเอกสารคุณต่อกันไว้ เป็นที่นิยมในแพลตฟอร์มเอกสาร แต่ไม่ใช่ส่วนหนึ่งของข้อกำหนดหลัก ให้มองว่าเป็นของแถม และเผยแพร่ก็ต่อเมื่อเนื้อหาของคุณใส่ลงในหน้าต่างบริบทสมัยใหม่ได้จริง

• เสิร์ฟไว้ที่รากของโดเมนในชื่อ /llms.txt ด้วยชนิด text/plain หรือ text/markdown ผ่าน HTTPS
• เขียนให้สั้น ลิงก์ที่คัดมาแล้วสิบถึงสามสิบรายการชนะการเทไซต์แมปลงมาทั้งก้อน ถ้าคุณต้องการทุก URL คุณก็มีไซต์แมป XML อยู่แล้ว
• เขียนคำอธิบายที่แยกความต่างได้ เช่น "ระดับราคาและข้อจำกัด" ไม่ใช่ "เรียนรู้เพิ่มเติมเกี่ยวกับ Growli"
• ลิงก์เฉพาะหน้าที่เข้าถึงได้แบบสาธารณะและมีเสถียรภาพ ลิงก์เสียในสารบัญที่คัดมาแล้วแย่กว่าการไม่มีสารบัญเลย
• ถ้าเอกสารของคุณเปลี่ยนทุกสัปดาห์ ให้สร้างไฟล์นี้ใหม่ตอนบิลด์ ไม่ใช่แก้ด้วยมือ

ตัวอย่างจริง ไฟล์ของ Growli เอง

ของเราตั้งใจให้เล็ก Growli วัดว่าผู้ช่วย AI กล่าวถึงและแนะนำธุรกิจอย่างไร หน้าที่เอเจนต์ต้องใช้จึงมีเพียง ผลิตภัณฑ์ทำอะไร การวัดผลทำงานอย่างไร ราคา และบทความวิจัยที่นิยามศัพท์ของเรา ไม่มีอย่างอื่นที่ได้ที่นั่ง

เมื่ออ่านในฐานะไฟล์ มันคือ H1 หนึ่งอัน คำสรุปในบล็อกอ้างคำหนึ่งชุด แล้วตามด้วยหัวข้อ H2 สองหัวข้อ โดยหัวข้อที่สองคือ Optional แต่ละบรรทัดข้างล่างนี้คือหนึ่งบรรทัดในไฟล์นั้น

• # Growli
• > Growli ติดตามว่าผู้ช่วย AI ทั้ง ChatGPT, Gemini, Claude, Perplexity, Copilot และ Grok กล่าวถึง เปรียบเทียบ และแนะนำธุรกิจอย่างไร แล้วเปลี่ยนช่องว่างที่พบให้เป็นสิ่งที่ต้องทำซึ่งจัดลำดับความสำคัญแล้ว
• ## Core
• วิธีการทำงาน: วิธีวัดผล ทั้งชุดพรอมต์ จังหวะการรัน และเกณฑ์ให้คะแนนการถูกกล่าวถึงกับคำแนะนำ
• การมองเห็นใน AI: นิยามของตัวชี้วัด สิ่งที่ขยับมัน และสิ่งที่ไม่ขยับ
• ## Optional
• บล็อก: บทความวิจัยเรื่องพฤติกรรมของผู้ช่วย AI รูปแบบการอ้างอิง และระเบียบวิธีการวัดผล

มันอยู่ตรงไหนเมื่อวางข้าง robots.txt และข้อมูลที่มีโครงสร้าง

ไฟล์ทั้งสามนี้ตอบคำถามคนละข้อ และการเอามาปนกันคือความผิดพลาดที่เราเห็นบ่อยที่สุดในการตรวจสอบ

robots.txt ตอบคำถามว่าคุณดึงข้อมูลนี้ได้ไหม มันคือไฟล์ควบคุมสิทธิ์เข้าถึงของบ็อต ซึ่งมีพฤติกรรมการอ่านที่ระบุไว้เป็นเอกสารมานาน และเป็นที่ที่คุณอนุญาตหรือปฏิเสธบ็อต AI ที่ระบุชื่อไว้ ถ้าคุณอยากจำกัดการฝึกโมเดลหรือการเก็บข้อมูล เรื่องนั้นเกิดขึ้นตรงนั้นและในข้อกำหนดการใช้งานของคุณ ไม่ใช่ใน llms.txt ส่วนข้อมูลที่มีโครงสร้างตอบคำถามว่าสิ่งนี้คืออะไร คำศัพท์ของ Schema.org ในรูป JSON-LD ให้คุณระบุอย่างไม่กำกวมว่าคุณคือ Organization ที่ชื่อนี้ มีผลิตภัณฑ์เหล่านี้ ราคานี้ และรีวิวเหล่านี้ ซึ่งเป็นข้อเท็จจริงที่เครื่องอ่านได้และรอดจากการถูกย่อ ส่วน llms.txt ตอบเพียงว่าฉันควรอ่านอะไรก่อน สำหรับผู้รับที่ตัดสินใจจะอ่านคุณอยู่แล้ว

ในแง่ผลตอบแทนต่อแรงที่ลงไป ลำดับนั้นไม่หวือหวาแต่สม่ำเสมอ คือแก้เรื่องการเก็บข้อมูลได้และเนื้อหาที่เรนเดอร์ฝั่งเซิร์ฟเวอร์ก่อน แล้วจึงเป็นข้อมูลที่มีโครงสร้างระดับตัวตน แล้วค่อยเป็น llms.txt ไฟล์ที่ไล่ลิงก์ไปยังหน้าซึ่งเรนเดอร์ออกมาว่างเปล่าเมื่อไม่มี JavaScript ไม่ช่วยใครเลย

แล้วคุณควรเผยแพร่ไฟล์นี้ไหม

ควร ถ้าคุณมีเอกสารประกอบ API ผลิตภัณฑ์สำหรับนักพัฒนา หรือฐานความรู้ ต้นทุนคือไม่กี่นาที ไฟล์อ่านได้ด้วยตามนุษย์ และกระบวนการที่มีคนยื่น URL ของ llms.txt ให้เอเจนต์ก็เป็นเรื่องปกติไปแล้ว เผยแพร่ไป รักษาให้ถูกต้อง แล้วเดินหน้าต่อ

อาจไม่คุ้มที่จะเป็นเรื่องเร่งด่วน ถ้าคุณเป็นธุรกิจบริการในพื้นที่ แค็ตตาล็อกอีคอมเมิร์ซ หรือเว็บไซต์การตลาดสิบสองหน้า ไม่มีหลักฐานว่ามันเปลี่ยนว่าผู้ช่วย AI จะแนะนำคุณหรือไม่ และแรงที่ลงไปน่าจะได้ผลกว่าถ้าใช้กับสิ่งที่ผู้ช่วย AI อ่านจริงอย่างชัดเจน ทั้งหน้าที่เรนเดอร์ได้โดยไม่ต้องใช้ JavaScript เนื้อหาเปรียบเทียบและราคาที่ระบุชัด ข้อเท็จจริงเรื่องตัวตนแบรนด์ที่สอดคล้องกันทั้งบนเว็บไซต์ของคุณและในรายการของแหล่งภายนอก และการปรากฏบนเว็บรีวิวกับบทรวมรายชื่อที่โมเดลพึ่งพาเวลาตอบคำถามว่า "X ที่ดีที่สุดสำหรับ Y"

บทพิสูจน์ที่ซื่อตรงคือการวัดผล ติดตามว่าผู้ช่วย AI เอ่ยชื่อคุณบ่อยแค่ไหน ในพรอมต์ใด และตอนนั้นอ้างอิงแหล่งใด นั่นคือสิ่งที่การติดตามการมองเห็นใน AI ของเราสร้างมาเพื่อทำ และหน้าวิธีการทำงาน อธิบายระเบียบวิธีไว้ ถ้าการเผยแพร่ llms.txt ขยับตัวเลขเหล่านั้นให้เว็บไซต์ของคุณ คุณจะเห็นเอง ถ้าไม่ขยับ คุณก็ใช้เวลาไปยี่สิบนาทีและได้เรียนรู้ความจริงหนึ่งข้อ

FAQ