ทราฟฟิก AI ครอว์เลอร์ เทียบกับ Googlebot: ตัวเลขจริงหน้าตาเป็นอย่างไร

AI ครอว์เลอร์เข้าชมบ่อยแค่ไหนจริง ๆ เมื่อเทียบกับ Googlebot

Vercel ซึ่งเซิร์ฟเวอร์ของตนโฮสต์เว็บยุคใหม่ส่วนใหญ่ ได้เผยแพร่การวิเคราะห์ทราฟฟิกของตนเอง ครอบคลุมหนึ่งเดือนเต็มทั่วทั้งเครือข่ายของตน Googlebot สร้างคำขอ 4.5 พันล้านครั้งในช่วงเวลานั้น GPTBot สร้างคำขอ 569 ล้านครั้ง — ประมาณหนึ่งในแปดของปริมาณ ครอว์เลอร์ของ Claude สร้างคำขอ 370 ล้านครั้ง น้อยกว่านั้นอีก

พูดง่าย ๆ คือ ทุกการเข้าชมหนึ่งครั้งที่ Googlebot ทำกับเว็บที่ Vercel โฮสต์ GPTBot ทำเพียงประมาณหนึ่งในแปดของการเข้าชมหนึ่งครั้ง และครอว์เลอร์ของ Claude ทำน้อยกว่านั้นอีก นี่ไม่ใช่ความคลาดเคลื่อนจากการปัดเศษ — มันสะท้อนให้เห็นว่า Google สร้างและดำเนินการโครงสร้างพื้นฐานการค้นหาในขนาดใหญ่มานานกว่ามากเพียงใด

การรวบรวมข้อมูลกับการส่งผู้เข้าชมกลับมาเป็นสองเรื่องที่ต่างกันมาก

ปริมาณการรวบรวมข้อมูลดิบตอบคำถาม "บอทตัวนี้เข้าชมบ่อยแค่ไหน" แต่เจ้าของธุรกิจมักสนใจคำถามที่ต่างออกไป: "สิ่งนี้ส่งลูกค้ามาให้ฉันหรือเปล่า" Cloudflare ซึ่งตามข้อมูลของตนเองอยู่หน้าทราฟฟิกเว็บทั้งหมดประมาณหนึ่งในห้า ได้วัดทั้งสองด้านของคำถามนี้เป็นเวลาหนึ่งสัปดาห์ และเผยแพร่สิ่งที่เรียกว่าอัตราส่วนการรวบรวมข้อมูลต่อการส่งต่อ — บอทของบริษัทหนึ่งรวบรวมข้อมูลหน้าหนึ่งกี่ครั้งต่อการส่งผู้เข้าชมจริงไปที่นั่นผ่านลิงก์หนึ่งครั้ง

ตัวเลขนั้นชัดเจนมาก Cloudflare พบว่า อัตราส่วนโดยรวมของ OpenAI อยู่ที่ประมาณ 887 ครั้งของการรวบรวมข้อมูลต่อผู้เข้าชมที่ถูกส่งต่อ 1 คน ของ Anthropic สูงกว่านั้นมาก — "เกือบ 50,000:1" ในการวัดของ Cloudflare Perplexity ซึ่งสร้างผลิตภัณฑ์ของตนขึ้นรอบการตอบพร้อมลิงก์ มีอัตราส่วนที่แคบกว่ามากที่ประมาณ 118 ต่อ 1 — ยังคงเอียงอยู่ แต่ใกล้เคียงที่สุดในสามตัวในการส่งผู้เข้าชมกลับมาตามสิ่งที่มันรวบรวมข้อมูล

ทำไมอัตราส่วนถึงเอียงขนาดนี้: การรวบรวมข้อมูลส่วนใหญ่เพื่อการฝึก ไม่ใช่เพื่อตอบคำถาม

เหตุผลที่ช่องว่างระหว่างการรวบรวมข้อมูลกับการส่งต่อกว้างมากนั้น ย้อนกลับไปที่สิ่งที่การรวบรวมข้อมูลส่วนใหญ่นี้มีไว้เพื่ออะไรจริง ๆ งานวิจัยเดียวกันของ Cloudflare พบว่า "ทราฟฟิกเพื่อการฝึก ซึ่งรับผิดชอบเกือบ 80% ของการรวบรวมข้อมูลจากบอท AI" มีมากกว่าทราฟฟิกที่ใช้ตอบคำถามเฉพาะแบบเรียลไทม์มากมาย — ซึ่งเป็นประเภทของทราฟฟิกที่มีแนวโน้มมากที่สุดที่จะมีลิงก์กลับไปยังเว็บไซต์ของคุณ

การรวบรวมข้อมูลเพื่อการฝึกรวบรวมเนื้อหาเพื่อสร้างหรือปรับปรุงโมเดลโดยทั่วไป — ไม่มีเหตุผลโดยตรงที่จะส่งผู้เข้าชมไปที่ใด เพราะไม่มีบุคคลใดถามคำถามเฉพาะเจาะจง การดึงข้อมูลที่ผู้ใช้กระตุ้น เช่น ChatGPT-User หรือ Perplexity-User ที่เข้าชมหน้าหนึ่งเพราะมีคนถามคำถามจริง คือทราฟฟิกที่มีแนวโน้มมากที่สุดที่จะกลายเป็นผู้เข้าชมจริง และเป็นสัดส่วนเล็ก ๆ ของการรวบรวมข้อมูลทั้งหมดที่เกิดขึ้น

สิ่งนี้หมายความว่าอย่างไรสำหรับธุรกิจจริง

ลองนึกภาพนักบัญชีท้องถิ่นในช่วงฤดูยื่นภาษี เว็บไซต์ของเธออาจเห็นการเข้าชมของ Googlebot หลายพันครั้งต่อเดือน และมีการเข้าชมของ AI ครอว์เลอร์เพียงหยิบมือเดียวเมื่อเทียบกัน — และนั่นเป็นสิ่งที่คาดหวังได้ ไม่ใช่สัญญาณว่าเว็บไซต์ของเธอกำลังล้มเหลวกับผู้ช่วย AI สิ่งที่สำคัญจริง ๆ สำหรับเธอนั้นไม่ได้เกี่ยวกับปริมาณมากเท่ากับคำถามที่แคบลงสองข้อ: ผู้ช่วยที่ลูกค้าที่มีศักยภาพของเธอใช้งานกำลังรวบรวมข้อมูลเธออยู่หรือไม่ และเมื่อมีใครถามคำถามตรง ๆ กับผู้ช่วยตัวใดตัวหนึ่งเหล่านั้น มันรู้เกี่ยวกับเธอมากพอที่จะตอบโดยใส่ชื่อของเธอหรือไม่

การไล่ตามจำนวนการเข้าชมของ AI ครอว์เลอร์เหมือนที่ธุรกิจไล่ตามกิจกรรมของ Googlebot มาหลายทศวรรษไม่ใช่สัญชาตญาณที่ถูกต้องในที่นี้ — ปริมาณนั้นยังไม่ได้ถูกสร้างขึ้นในรูปแบบเดียวกัน คู่มือของเราเกี่ยวกับการวินิจฉัยว่าคุณถูกรวบรวมข้อมูลแต่ไม่ถูกอ้างอิงหรือไม่ จะลงลึกถึงสิ่งที่ทำนายการถูกกล่าวถึงได้จริง ซึ่งสำคัญกว่าจำนวนการเข้าชมดิบ

FAQ