การบล็อก AI ครอว์เลอร์ทำให้อันดับ Google ของคุณแย่ลงไหม

สรุปสั้น ๆ ด้วยคำพูดของ Google เอง

Google เผยแพร่หน้าเอกสารที่อธิบายเกี่ยวกับครอว์เลอร์และตัวดึงข้อมูลของตนโดยเฉพาะ และขีดเส้นแบ่งไว้ชัดเจนที่สุดเท่าที่เอกสารแบบนี้จะทำได้ เกี่ยวกับ Google-Extended หน้าดังกล่าวระบุว่า "Google-Extended ไม่มีผลต่อการรวมเว็บไซต์ไว้ใน Google Search และไม่ได้ถูกใช้เป็นสัญญาณจัดอันดับใน Google Search"

เกี่ยวกับ Googlebot หน้าเดียวกันอธิบายจุดประสงค์ของมันว่าคือการรวบรวมข้อมูล "เพื่อค้นหาข้อมูลสำหรับสร้างดัชนีค้นหาของ Google ดำเนินการรวบรวมข้อมูลเฉพาะผลิตภัณฑ์อื่น ๆ และเพื่อการวิเคราะห์" สองหน้าที่ที่ต่างกัน ระบุไว้อย่างตรงไปตรงมา โดยบริษัทเดียวกันที่ดูแลทั้งสองตัว

Google-Extended คืออะไรกันแน่

นี่คือส่วนที่คนส่วนใหญ่ประหลาดใจ: Google-Extended ไม่ใช่บอทแยกต่างหากที่มาปรากฏตัวที่เว็บไซต์ของคุณพร้อมชื่อของตัวเอง เอกสารของ Google ระบุไว้อย่างชัดเจนในเรื่องนี้ — "Google-Extended ไม่ได้ทำงานผ่าน HTTP User-Agent String แยกต่างหาก แต่การรวบรวมข้อมูลเกิดขึ้นด้วย User-Agent String ของ Google ที่มีอยู่แล้ว โทเค็น User-Agent ใน robots.txt ถูกใช้เพื่อการควบคุมเท่านั้น"

พูดง่าย ๆ คือ การรวบรวมข้อมูลแบบเดียวกับที่ Googlebot ทำอยู่แล้วสามารถรับใช้สองจุดประสงค์ได้ Google-Extended คือคำสั่งที่คุณให้ไว้ในไฟล์ robots.txt ว่าเนื้อหาที่ถูกรวบรวมไปแล้วนั้นสามารถนำไปใช้ฝึกโมเดล Gemini ในอนาคตและใช้สนับสนุนคำตอบของ Gemini ได้หรือไม่ มันเป็นการตั้งค่าสิทธิ์ที่ซ้อนอยู่บนการเยี่ยมชมที่มีอยู่แล้ว ไม่ใช่ผู้มาเยือนรายที่สอง

วิธีตั้งค่าทั้งสองแยกจากกัน แบบเข้าใจง่าย

เนื่องจาก Googlebot และ Google-Extended ถูกควบคุมด้วยกฎ robots.txt ที่แยกจากกัน คุณจึงเลือกแต่ละตัวได้อย่างอิสระ ธุรกิจที่ต้องการมองเห็นได้เต็มที่ในผลการค้นหาของ Google แต่ไม่ต้องการให้เนื้อหาของตนไปป้อนการฝึกหรือคำตอบของ Gemini สามารถทำแบบนี้ได้เลย: อนุญาต User-Agent ของ Googlebot ตามปกติ แล้วเพิ่มกฎ Disallow แยกต่างหากสำหรับ User-Agent ของ Google-Extended

กลับกันก็เป็นจริงเช่นกัน — ในทางทฤษฎีคุณสามารถบล็อก Googlebot (ซึ่งจะทำให้หายไปจาก Google Search โดยสิ้นเชิง สิ่งที่แทบไม่มีธุรกิจไหนต้องการ) พร้อมกับอนุญาต Google-Extended แม้ว่าในทางปฏิบัติแทบไม่มีใครมีเหตุผลที่จะทำแบบนั้น ประเด็นสำคัญคือทั้งสองเป็นสวิตช์คนละตัวกัน การปรับตัวหนึ่งไม่ได้ขยับอีกตัว

ตัวอย่างที่เป็นรูปธรรม: ร้านเบเกอรี่ของครอบครัว

ลองนึกภาพเจ้าของร้านเบเกอรี่ที่อ่านเจอทางออนไลน์ว่า "การบล็อกบอท AI ทำร้าย SEO ของคุณ" และด้วยความกลัว เธอจึงปล่อยทุกอย่างเปิดกว้างแทนที่จะเสี่ยงอันดับ Google ของตัวเอง รวมถึงครอว์เลอร์ที่เธออยากบล็อกออกไปด้วย

ด้วยข้อเท็จจริงข้างต้น เธอมีทางเลือกที่ชัดเจนกว่านั้น ไฟล์ robots.txt ของเธอสามารถอนุญาต Googlebot อย่างชัดเจน (ทำให้ร้านเบเกอรี่ของเธอยังค้นหาเจอบน Google ได้เต็มที่เหมือนเดิม) ขณะเดียวกันก็ห้าม Google-Extended อย่างชัดเจน (ไม่ให้คำอธิบายเมนูและรูปภาพของเธอถูกนำไปฝึกโมเดล Gemini ในอนาคต) โดยไม่กระทบการมองเห็นในการค้นหาของเธอเลย การตัดสินใจเรื่องการฝึก Gemini กลายเป็นทางเลือกที่จงใจและแยกออกมาต่างหาก แทนที่จะเป็นผลข้างเคียงที่เธอเดาเอา

ทำไมความสับสนนี้ถึงพบบ่อย และจะหลีกเลี่ยงได้อย่างไรต่อจากนี้

ความสับสนนี้เข้าใจได้: robots.txt ในอดีตเป็นเครื่องมือด้านอันดับการค้นหาเกือบทั้งหมด ดังนั้นบรรทัดใหม่ใด ๆ ที่เพิ่มเข้าไปจึงรู้สึกเหมือนต้องเกี่ยวกับอันดับด้วย Google-Extended ทำลายรูปแบบเก่านั้น — มันเป็นโทเค็น robots.txt กระแสหลักตัวแรกที่ตามคำแถลงของ Google เอง ไม่เกี่ยวข้องกับอันดับอย่างชัดเจน

นิสัยที่ปลอดภัยที่สุดต่อจากนี้นั้นง่ายมาก: อย่าเดา เมื่อมีครอว์เลอร์หรือโทเค็นใหม่ปรากฏขึ้น ให้ตรวจสอบเอกสารของบริษัทนั้นเองว่ามันควบคุมอะไรจริง ๆ ก่อนเปลี่ยนแปลงสิ่งใด — วินัยแบบเดียวกับที่บทความนี้ยึดถือ

FAQ