ทำความรู้จัก AI Crawler: GPTBot, ClaudeBot, PerplexityBot และตัวอื่น ๆ

บอตแต่ละตัว ทีละบริษัท

ลองนึกถึง robots.txt เหมือนป้ายที่ประตูร้าน: "ส่งของทางหลัง ลูกค้ายินดีต้อนรับทางหน้า" มันจะได้ผลก็ต่อเมื่อผู้มาเยือนทุกคนอ่านป้าย — และจะแยกผู้มาเยือนเป็นกลุ่มได้ก็ต่อเมื่อคุณรู้ว่าป้ายไหนใช้กับใคร นี่คือรายชื่อผู้ที่กำลังเคาะประตูจริง ๆ

OpenAI เอกสารบอตแยกกันสี่ตัว GPTBot เก็บข้อความเพื่อช่วยฝึกและปรับปรุงโมเดลของตน — เทียบได้กับนักวิจัยที่อ่านหนังสือในห้องสมุดเพื่อให้ฉลาดขึ้น ไม่ใช่เพื่อตอบคำถามใดคำถามหนึ่งโดยเฉพาะ OAI-SearchBot ต่างออกไป: มัน crawl หน้าเว็บเพื่อให้ฟีเจอร์ค้นหาของ ChatGPT หาเจอและอ้างอิงได้เมื่อผู้ใช้ถามอะไรสักอย่าง บทบาทนี้ใกล้เคียงกับเสิร์ชเอนจินที่ทำดัชนีเว็บมากกว่า ChatGPT-User เข้าเยี่ยมหน้าเว็บในจังหวะที่มีคนกำลังคุยกับ ChatGPT พอดีและผู้ช่วยต้องตรวจสอบอะไรบางอย่างแบบสด ๆ — ลองนึกภาพพนักงานร้านที่วิ่งไปหลังร้านเพื่อเช็คว่าสินค้ามีสต็อกอยู่หรือไม่ ต่อหน้าลูกค้า OAI-AdsBot ตรวจสอบว่าหน้าเว็บที่ส่งมาเป็นโฆษณาใน ChatGPT ปลอดภัยพอที่จะแนะนำหรือไม่ OpenAI เอกสารบอตทั้งสี่ตัวและพฤติกรรมต่อ robots.txt ไว้บนเว็บไซต์สำหรับนักพัฒนา

Anthropic (บริษัทเบื้องหลัง Claude) รันบอตสามตัว ClaudeBot เก็บหน้าเว็บเพื่อการฝึกโมเดล บทบาทแบบอ่านห้องสมุดเดียวกับ GPTBot Claude-SearchBot crawl หน้าเว็บเพื่อปรับปรุงสิ่งที่ Claude หาเจอและอ้างอิงได้ในผลการค้นหาของมัน Claude-User ดึงหน้าเว็บหนึ่งหน้าในจังหวะที่ผู้ใช้ Claude ถามถึงมันพอดี — พฤติกรรม "ตรวจสอบต่อหน้าลูกค้า" แบบเดียวกับ ChatGPT-User Anthropic อธิบายบอตทั้งสามตัวและวิธีควบคุมแต่ละตัวไว้ในศูนย์ช่วยเหลือของตน

Perplexity มีแค่สองตัว PerplexityBot crawl และทำดัชนีหน้าเว็บเพื่อให้คำตอบของ Perplexity ลิงก์ไปหาได้ — บทบาทการทำดัชนีอีกครั้ง Perplexity-User ดึงหน้าเว็บแบบสด ๆ ในนามของผู้ใช้คนหนึ่ง ในจังหวะที่คำถามต้องการมัน เอกสารของ Perplexity เองระบุชื่อทั้งสองตัวและอธิบายความต่าง

สองหน้าที่ ไม่ใช่หนึ่งเดียว: การฝึกโมเดล เทียบกับ "เดี๋ยวนี้เลย"

เมื่อเห็นรูปแบบนี้แล้ว ความหลากหลายของบอตทั้งหมดจะย่อลงเหลือแค่สองประเภทง่าย ๆ — และการแยกแยะนี้เองที่เปลี่ยนสิ่งที่คุณควรทำจริง ๆ

บอตฝึกโมเดลและทำดัชนี — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — เข้ามาตามตารางเวลาของตัวเอง โดยไม่เกี่ยวกับลูกค้าคนใดคนหนึ่งเป็นการเฉพาะ นี่คือวิธีที่บริษัทเหล่านี้สร้างความรู้ทั่วไปและดัชนีที่ค้นหาได้ของเว็บไปทีละน้อยตามเวลา การบล็อกตัวใดตัวหนึ่งเป็นการบอกบริษัทนั้นว่า "อย่าใช้หน้าเว็บในอนาคตของฉันเพื่อสิ่งนี้" — เป็นทางเลือกที่จริงจังและมีความหมาย แต่ส่งผลช้าและไม่กระทบสิ่งที่เรียนรู้ไปแล้วก่อนการบล็อก

บอตที่ผู้ใช้เป็นผู้กระตุ้น — ChatGPT-User, Claude-User, Perplexity-User — เข้ามาเพราะคนจริง ๆ กลางบทสนทนา ขอให้ผู้ช่วยดูหน้าเว็บของคุณตอนนี้เลย: เพื่อเช็คราคาปัจจุบัน อ่านเมนูวันนี้ หรือยืนยันเวลาทำการของคุณ ทั้ง OpenAI และ Perplexity ระบุชัดว่าเพราะคำขอนี้มาจากคน การเยี่ยมชมแบบนี้อาจไม่เคารพ robots.txt แบบเดียวกับการ crawl อัตโนมัติ — เหตุผลคือคนที่ถามคำถามตรง ๆ ควรได้รับสิทธิ์เข้าถึงเดียวกับที่จะได้หากคลิกลิงก์เอง

นี่คือเหตุผลที่การบล็อก "บอต AI" แบบเหมารวมไม่แยกแยะมักย้อนกลับมาทำร้ายตัวเอง: คุณอาจปิดบอตที่จะทำให้ธุรกิจคุณถูกค้นพบง่ายขึ้นในเดือนหน้า โดยไม่ได้ป้องกันอะไรเลยที่จะไม่ให้หน้าเว็บถูกดึงแบบสด ๆ ในวันพรุ่งนี้ — เพราะการดึงนั้นไม่เคยเป็นสิ่งที่คุณบล็อกได้ตั้งแต่แรก

อ่านล็อกเซิร์ฟเวอร์ของตัวเองเพื่อดูว่าใครมาจริง ๆ

คุณไม่ต้องใช้ซอฟต์แวร์พิเศษเพื่อตรวจสอบว่าสิ่งนี้กำลังเกิดขึ้นกับเว็บไซต์ของคุณหรือไม่ เว็บเซิร์ฟเวอร์ทุกตัวเก็บล็อกการเข้าถึง — รายการต่อเนื่องของผู้เยี่ยมชมแต่ละคนและสิ่งที่พวกเขาดู — และ crawler แต่ละตัวระบุตัวตนในบรรทัดที่เรียกว่า user-agent เหมือนพนักงานส่งของที่อาจโชว์บัตรประจำตัว

ถ้าเว็บไซต์ของคุณโฮสต์แบบที่เข้าถึง command line ได้ คุณค้นหาในล็อกนั้นเองได้เลย คำสั่งง่าย ๆ อย่างการค้นข้อความ "GPTBot", "ClaudeBot" หรือ "PerplexityBot" ในล็อกการเข้าถึงจะแสดงทุกการเยี่ยมชม พร้อมวันที่ หน้าเว็บที่ขอมาแน่ชัด และเซิร์ฟเวอร์ปล่อยผ่านหรือบล็อกการเยี่ยมชมนั้น แผงควบคุมโฮสติ้งส่วนใหญ่ (cPanel, Plesk และคล้ายกัน) มีล็อกแบบเดียวกันผ่านหน้าจอ "raw log" หรือ "visitor log" ที่คลิกดูได้ไม่กี่คลิก ถ้าคุณอยากเลี่ยง command line

มีสองอย่างที่ควรเช็คเมื่อพบแล้ว: บอตตัวใดตัวหนึ่งมาเยี่ยมครั้งล่าสุดเมื่อไหร่ (บอตฝึกโมเดลที่ไม่เคยมาเลยหมายความว่าหน้าเว็บของคุณยังไม่เป็นส่วนหนึ่งของข้อมูลฝึกของบริษัทนั้น) และคำขอสำเร็จหรือถูกบล็อก — หน้าเว็บที่ส่งข้อผิดพลาดกลับให้ GPTBot อาจส่งข้อผิดพลาดเดียวกันกลับให้เบราว์เซอร์ของลูกค้าจริงด้วย และควรรู้ไว้ไม่ว่ากรณีไหน

เขียน robots.txt ที่ช่วยคุณ ไม่ใช่ซ่อนคุณ

robots.txt คือไฟล์ข้อความธรรมดาที่คุณวางไว้ที่รากของเว็บไซต์ (yoursite.com/robots.txt) ระบุกฎว่าผู้เยี่ยมชมอัตโนมัติรายใดอ่านส่วนไหนของเว็บไซต์ได้ เอกสารการ crawl ของ Google — เขียนไว้สำหรับ crawler ค้นหาของตัวเอง แต่รูปแบบไฟล์ใช้ร่วมกันโดยผู้ให้บริการบอตทุกราย — ยังคงเป็นคำอธิบายไวยากรณ์ที่ชัดเจนที่สุดด้วยภาษาง่าย ๆ หากคุณไม่เคยเปิดไฟล์นี้มาก่อน

สำหรับธุรกิจท้องถิ่นหรือธุรกิจขนาดเล็กเกือบทั้งหมด จุดเริ่มต้นที่ปลอดภัยที่สุดคือแบบง่ายที่สุด: อนุญาตให้ทุก crawler อ่านทุกหน้าเว็บสาธารณะ และไม่เขียนกฎ Disallow เฉพาะสำหรับบอต AI เลย ข้อดีของการถูก crawl คือโอกาสที่จะถูกพูดถึง เปรียบเทียบ และแนะนำ ข้อเสียของการบล็อกคือการหายไปจากคำตอบทั้งหมด โดยไม่มีทางรู้ว่ามันเกิดขึ้น ไม่มี "บล็อกบางส่วน" เวอร์ชันไหนที่ทำให้ผู้ช่วยบรรยายถึงคุณในทางที่ดีขึ้น — มันทำได้แค่ทำให้คุณมองไม่เห็นสำหรับบอตตัวนั้นตัวเดียว

ข้อยกเว้นจริง ๆ สองอย่างคือหน้าเว็บที่คุณก็ไม่อยากให้เสิร์ชเอนจินแสดงเหมือนกัน — พอร์ทัลลูกค้าส่วนตัว หน้าแอดมินภายใน ฉบับร่างที่ยังไม่เผยแพร่ — ซึ่งควรมีกฎ Disallow สำหรับ crawler ทุกตัวอยู่แล้ว ไม่ว่าจะเป็น AI หรือไม่ก็ตาม และหน้าเว็บที่ทำให้เข้าใจผิดจริง ๆ หากอ่านนอกบริบท โดยไม่มีดีไซน์และคำเตือนที่ล้อมรอบมันบนเว็บไซต์ของคุณ ซึ่งพบได้น้อยแต่ควรพิจารณาอีกครั้งหากเข้ากับกรณีของคุณ

หากคุณตัดสินใจบล็อกบอตตัวใดตัวหนึ่งจริง ๆ ให้ใช้ชื่อที่ถูกต้องเป๊ะ — "GPTBot" ไม่ใช่ "OpenAI" ไม่ใช่ "บอต AI" — เพราะบอตแต่ละตัวเชื่อฟังเฉพาะกฎที่เขียนถึงชื่อของตัวเองเท่านั้น กฎที่บล็อก GPTBot ไม่มีผลใด ๆ กับ OAI-SearchBot และในทางกลับกันก็เช่นกัน การแยกนี้คือเหตุผลทั้งหมดที่บริษัทเหล่านี้แยกบอตของตนออกจากกันตั้งแต่แรก

• ระบุบอตแต่ละตัวที่คุณต้องการจัดการด้วยชื่อที่ถูกต้องเป๊ะ หนึ่งบรรทัด User-agent ต่อหนึ่งบอต
• ปล่อยให้ไฟล์ปราศจากกฎ Disallow เฉพาะ AI เว้นแต่หน้าเว็บนั้นเป็นส่วนตัวจริง ๆ
• ตรวจสอบไฟล์อีกครั้งหลังการย้ายเว็บไซต์ใด ๆ — บางครั้งโฮสต์ใหม่มาพร้อม robots.txt เริ่มต้นที่บล็อกทุกอย่าง
• ทดสอบไฟล์ที่เผยแพร่แล้วที่ yoursite.com/robots.txt ในเบราว์เซอร์หลังเผยแพร่ การพิมพ์ผิดตรงนี้เงียบและพลาดง่าย

FAQ