วิธีตรวจสอบการเข้าชมจริงของ AI ครอว์เลอร์ในล็อกเซิร์ฟเวอร์ของคุณ

ทำไมชื่อในล็อกของคุณเพียงอย่างเดียวจึงไม่เพียงพอ

ลองนึกภาพเว็บไซต์คลินิกทันตกรรมแห่งหนึ่งที่ล็อกแสดงการเข้าชม 50 ครั้งเมื่อเดือนที่แล้วจากบางอย่างที่เรียกตัวเองว่า "GPTBot" มันให้ความรู้สึกเหมือนเป็นหลักฐานว่า OpenAI กำลังอ่านเว็บไซต์นี้อยู่ แต่ User-Agent String นั้นเป็นการรายงานตัวเองทั้งหมด — เหมือนผู้มาติดต่อที่เคาน์เตอร์ต้อนรับพูดชื่อตัวเองออกมาดัง ๆ โดยไม่มีใครตรวจบัตรประชาชน โปรแกรมที่แตกต่างไปโดยสิ้นเชิง ซึ่งใครก็สร้างขึ้นได้ ก็สามารถพูดชื่อเดียวกันเป๊ะได้เช่นกัน

เรื่องนี้สำคัญด้วยเหตุผลเชิงปฏิบัติสองประการ: หากคุณกำลังตัดสินใจว่าจะบล็อกหรืออนุญาตครอว์เลอร์ตัวหนึ่ง คุณอยากรู้ว่ากำลังควบคุมตัวจริง ไม่ใช่ตัวปลอม และหากคุณพยายามทำความเข้าใจว่าได้รับทราฟฟิก AI ครอว์เลอร์จริงมากแค่ไหน ตัวเลขที่ถูกปั่นให้สูงเกินจริงหรือปลอมแปลงจะให้ภาพที่ผิดไปโดยสิ้นเชิง

วิธีตรวจสอบจริง: รายการ IP ที่เผยแพร่ไว้

ผู้ให้บริการรายใหญ่ทุกรายแก้ปัญหานี้ด้วยวิธีเดียวกัน คือเผยแพร่ไฟล์ที่เครื่องอ่านได้ ซึ่งระบุช่วงที่อยู่ IP จริงที่ครอว์เลอร์ของตนส่งคำขอออกมา คำขอหนึ่งจะเป็นครอว์เลอร์ของบริษัทนั้นจริง ๆ ก็ต่อเมื่อทั้งชื่อ User-Agent และที่อยู่ IP ต้นทางตรงกับสิ่งที่บริษัทนั้นเผยแพร่เอง

OpenAI เผยแพร่ไฟล์ตรวจสอบแยกกัน สำหรับบอทแต่ละตัว — GPTBot, OAI-SearchBot, OAI-AdsBot และ ChatGPT-User ต่างมีรายการของตัวเอง Anthropic เผยแพร่รายการเดียว ที่ครอบคลุมครอว์เลอร์ของตนที่ claude.com/crawling/bots.json Perplexity เผยแพร่ไฟล์สำหรับบอททั้งสองตัว คือ PerplexityBot และ Perplexity-User และเอกสารของตนเองแนะนำให้ตรวจสอบทั้งชื่อ User-Agent และที่อยู่ IP ร่วมกันเพื่อผลลัพธ์ที่น่าเชื่อถือ

การตรวจสอบสี่ขั้นตอน แบบเข้าใจง่าย

คุณไม่จำเป็นต้องเป็นนักพัฒนาเพื่อทำการตรวจสอบนี้ แม้ว่าการมีคนช่วยในขั้นตอนทางเทคนิคจะทำให้เร็วขึ้นก็ตาม

• ค้นหาการเข้าชมที่ถูกอ้างสิทธิ์ในล็อกของคุณ ค้นหาในล็อกการเข้าถึงของเซิร์ฟเวอร์สำหรับชื่อบอทที่คุณกำลังตรวจสอบ — "GPTBot," "ClaudeBot," หรือ "PerplexityBot" — แล้วจดที่อยู่ IP ที่แต่ละคำขอมาจาก
• เปิดรายการ IP ที่บริษัทเผยแพร่ไว้ แต่ละรายการเป็นไฟล์ข้อความธรรมดาขนาดเล็กที่ที่อยู่ข้างต้น ออกแบบมาให้ซอฟต์แวร์อ่าน แต่คนก็อ่านได้อย่างสมบูรณ์เช่นกัน
• เปรียบเทียบที่อยู่ IP ไม่ใช่แค่ชื่อ หากที่อยู่ IP จากล็อกของคุณปรากฏในช่วงที่บริษัทเผยแพร่ไว้ การเข้าชมนั้นเป็นของจริง หากไม่ปรากฏ แสดงว่ามีบางอย่างอ้างชื่อที่ไม่ได้เป็นเจ้าของ
• ตรวจสอบซ้ำเป็นระยะ บริษัทต่าง ๆ อัปเดตช่วง IP เหล่านี้เมื่อโครงสร้างพื้นฐานของตนเปลี่ยนไป ดังนั้นการตรวจสอบเพียงครั้งเดียวจะล้าสมัยไป เจ้าของเว็บไซต์ส่วนใหญ่แค่ต้องตรวจสอบซ้ำทุกสองสามเดือน หรือเมื่อใดก็ตามที่ทราฟฟิกครอว์เลอร์ดูผิดปกติ

สิ่งนี้ปกป้องคุณจากอะไรกันแน่

นี่ไม่ใช่เรื่องความหวาดระแวง แต่เป็นเรื่องของการตัดสินใจอย่างมีข้อมูลแทนการเดาเอา เจ้าของธุรกิจที่ตัดสินใจอนุญาต GPTBot เพราะต้องการให้ผู้ช่วย AI เรียนรู้เกี่ยวกับสินค้าของตน ควรรู้ว่าทราฟฟิกที่ตนอนุญาตนั้นเป็น GPTBot จริง ๆ ไม่ใช่สคริปต์ดึงข้อมูลที่ไม่เกี่ยวข้องซึ่งยืมชื่อที่น่าเชื่อถือมาเพื่อหลบเลี่ยงการบล็อกแบบง่าย ๆ

การตรวจสอบแบบเดียวกันนี้สำคัญในทิศทางตรงกันข้ามด้วย: ธุรกิจที่บล็อก GPTBot ใน robots.txt กำลังเชื่อใจว่าครอว์เลอร์ที่ถูกต้องตามกฎหมายและมีมารยาทดีจะเคารพคำสั่งนั้น ซึ่งเป็นสิ่งที่เอกสารของ OpenAI เองระบุว่า GPTBot ทำ การเข้าชมปลอมที่สวมชื่อ GPTBot จะไม่ถูกผูกมัดด้วยความซื่อสัตย์แบบเดียวกันนั้น ซึ่งเป็นอีกเหตุผลหนึ่งที่การตรวจสอบ IP สำคัญ หากคุณเห็นทราฟฟิกที่ดูผิดปกติเมื่อใดก็ตาม เมื่อคุณยืนยันแล้วว่าใครกำลังเข้าชมคุณจริง ๆ คู่มือของเราเกี่ยวกับวิธีที่ครอว์เลอร์เหล่านี้อ่านเว็บไซต์ของคุณ และข้อเท็จจริงว่าการบล็อกพวกมันส่งผลต่ออันดับ Google ของคุณหรือไม่ ครอบคลุมการตัดสินใจขั้นต่อไป

FAQ