AI ครอว์เลอร์อ่านเว็บไซต์ของคุณอย่างไรกันแน่

การดึงข้อมูลกับการเรนเดอร์: ความแตกต่างที่ตัดสินว่าครอว์เลอร์เห็นอะไร

ทุกการเข้าชมเว็บไซต์เริ่มต้นแบบเดียวกัน: คำขอถูกส่งไปยังเซิร์ฟเวอร์ของคุณ และเซิร์ฟเวอร์ส่งการตอบกลับมา การตอบกลับนั้นคือ HTML — โครงสร้างดิบของหน้าเว็บ เว็บไซต์สมัยใหม่มักส่งโครงสร้างนี้มาแบบเกือบว่างเปล่าโดยตั้งใจ แล้วใช้ JavaScript — โปรแกรมเล็ก ๆ ที่รันในเบราว์เซอร์ของผู้เข้าชม — เพื่อเติมข้อความ ราคา และรูปภาพจริงในภายหลัง

เบราว์เซอร์ของผู้เข้าชมที่เป็นมนุษย์จะรัน JavaScript นั้นโดยอัตโนมัติ จึงไม่มีใครสังเกตเห็นช่องว่างนี้เลย "การเรนเดอร์" คือคำศัพท์เทคนิคสำหรับขั้นตอนเพิ่มเติมนั้น คือการรัน JavaScript และสร้างหน้าเว็บที่สมบูรณ์ ส่วน "การดึงข้อมูล" คือเพียงแค่หยิบ HTML ดิบมาแล้วหยุดอยู่แค่นั้น AI ครอว์เลอร์ส่วนใหญ่ทำการดึงข้อมูล ไม่ใช่การเรนเดอร์

ลองนึกภาพเว็บไซต์ช่างประปาที่หน้าแรกโหลดโลโก้และรูปภาพขึ้นมาทันที แต่รายการบริการจริง — ท่อตัน ซ่อมเครื่องทำน้ำอุ่น งานฉุกเฉิน — กลับปรากฏช้ากว่าหนึ่งวินาที โดยถูกเติมด้วย JavaScript หลังหน้าโหลดเสร็จ เบราว์เซอร์ของผู้เข้าชมทำการเติมนี้ได้ราบรื่นจนไม่มีใครสังเกตว่ามีสองขั้นตอนเกิดขึ้น ส่วนครอว์เลอร์ AI ที่ดึงข้อมูลอย่างเดียวจะเห็นแค่เปลือกที่เกือบว่างเปล่าแล้วหยุดอยู่แค่นั้น สำหรับครอว์เลอร์ตัวนั้น รายการบริการแทบไม่มีอยู่จริงเลย

รู้จักบอททีละตัว และแต่ละตัวมีไว้ทำอะไรจริง ๆ

"AI ครอว์เลอร์" ไม่ได้หมายถึงบอทเพียงตัวเดียว แต่เป็นบริษัทจำนวนหนึ่ง แต่ละแห่งมีบอทหลายตัวสำหรับงานต่างกัน การรู้ว่าตัวไหนเป็นตัวไหนสำคัญมาก เพราะการบล็อกตัวหนึ่งไม่ได้บล็อกตัวอื่น

OpenAI มีเอกสารระบุบอทแยกกันสี่ตัว: GPTBot รวบรวมเนื้อหาที่อาจใช้ฝึกโมเดล OAI-SearchBot สำรวจเว็บเพื่อตัดสินว่าจะแสดงอะไรเมื่อมีคนค้นหาภายใน ChatGPT OAI-AdsBot ตรวจสอบความปลอดภัยของหน้า Landing Page โฆษณาหนึ่งหน้า ส่วน ChatGPT-User แตกต่างจากสามตัวก่อนหน้า — มันเข้าเยี่ยมชมหน้าเว็บแบบเรียลไทม์ก็ต่อเมื่อมีคนถามคำถามตรง ๆ กับ ChatGPT และเอกสารของ OpenAI เองระบุว่า "กฎ robots.txt อาจไม่มีผลบังคับใช้" กับบอทตัวนี้ เพราะมีคนขอให้ดึงข้อมูลนั้นโดยตรง

Anthropic ก็แบ่งแบบคล้ายกัน: ClaudeBot รวบรวมเนื้อหา "เพื่อเพิ่มประโยชน์และความปลอดภัยของโมเดล AI เชิงสร้างสรรค์ของเรา" Claude-SearchBot สำรวจเว็บเพื่อปรับปรุงผลลัพธ์แบบการค้นหาภายใน Claude และ Claude-User จะดึงข้อมูลหน้าเว็บก็ต่อเมื่อคำถามของผู้ใช้นำไปสู่หน้านั้น Perplexity ก็ใช้รูปแบบเดียวกัน: PerplexityBot สำรวจเว็บเพื่อแสดงและลิงก์ไปยังเว็บไซต์ ขณะที่ Perplexity-User จะดึงข้อมูลหน้าเว็บเฉพาะเพื่อตอบคำถามของผู้ใช้เท่านั้น

ไม่มีบอทตัวไหนเรนเดอร์ JavaScript เลย และตามเอกสารของบริษัทเหล่านี้ที่อ้างอิงข้างต้น ทุกตัวควรเคารพ robots.txt ยกเว้นบอทที่ถูกกระตุ้นโดยผู้ใช้ ซึ่งมีอยู่ก็เพราะมีคนจริงกำลังรอคำตอบอยู่อีกฝั่งหนึ่ง

Googlebot คือข้อยกเว้น และควรรู้ไว้ว่าทำไม

หาก AI ครอว์เลอร์ไม่เรนเดอร์ JavaScript แล้วทำไมเรื่องนี้ถึงดูไม่คุ้นเคย เพราะ Googlebot เรนเดอร์ Google ระบุว่า Googlebot มีไว้ "เพื่อค้นหาข้อมูลสำหรับสร้างดัชนีค้นหาของ Google" และเพื่อทำสิ่งนี้ได้ดี Google ใช้เวลาหลายปีสร้างระบบเรนเดอร์ที่สมบูรณ์ ซึ่งโดยพื้นฐานแล้วคือการรันเบราว์เซอร์จริงในสเกลมหาศาลสำหรับทุกหน้าที่ต้องการทำความเข้าใจอย่างเต็มที่

นี่คือโครงสร้างพื้นฐานที่มีต้นทุนสูงมากจริง ๆ และตอนนี้บริษัท AI ยังไม่ได้สร้างเวอร์ชันของตัวเองสำหรับครอว์เลอร์ การวิเคราะห์ของ Vercel เองระบุอย่างตรงไปตรงมาว่า "ไม่มี AI ครอว์เลอร์รายใหญ่ตัวใดเรนเดอร์ JavaScript ในปัจจุบัน ซึ่งรวมถึง OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot)" การวิเคราะห์เดียวกันยังพบว่าครอว์เลอร์เหล่านี้บางครั้งก็ดึงไฟล์ JavaScript ของเว็บไซต์ — บอทของ ChatGPT ทำเช่นนั้นในราว 11.5% ของคำขอ ส่วนของ Claude อยู่ที่ราว 23.8% — แต่การดึงไฟล์มาไม่ใช่เรื่องเดียวกับการรันไฟล์ พวกมันยังคงไม่รันมันอยู่ดี ในช่วงเวลาเดียวกันนั้น Vercel วัดได้ว่า Googlebot มีคำขอรายเดือนถึง 4.5 พันล้านครั้ง เทียบกับ GPTBot ที่ 569 ล้านครั้ง และครอว์เลอร์ของ Claude ที่ 370 ล้านครั้ง ซึ่งเป็นเพียงเศษเสี้ยวของปริมาณนั้น

ช่องว่างนี้อาจไม่ได้คงอยู่ตลอดไป แต่สำหรับเจ้าของธุรกิจที่ต้องตัดสินใจวันนี้ว่าจะทำอะไรกับเว็บไซต์ นี่คือความจริงในปัจจุบัน ไม่ใช่กฎตายตัว ควรกลับมาทบทวนเป็นครั้งคราว แต่ไม่จำเป็นต้องกังวลจนนอนไม่หลับ

สิ่งนี้สร้างต้นทุนอะไรจริง ๆ ให้เว็บไซต์

กลับมาที่เว็บไซต์ช่างประปา หากรายการบริการ แผนที่พื้นที่ให้บริการ และรีวิวลูกค้า ล้วนโหลดหลังหน้าเริ่มต้นผ่าน JavaScript สิ่งที่เกิดขึ้นเมื่อมีคนถามผู้ช่วย AI ว่า "ใครรับซ่อมประปาฉุกเฉินใกล้ฉัน" คือ: ครอว์เลอร์ของผู้ช่วยได้ดึงหน้านั้นมาแล้วครั้งหนึ่ง เห็นเปลือกที่เกือบว่างเปล่า แล้วก็ผ่านไป มันไม่เคยรู้เลยว่าช่างประปารายนี้ให้บริการอะไรบ้าง

นี่ไม่ใช่รายละเอียดทางเทคนิคเล็ก ๆ น้อย ๆ — พูดง่าย ๆ คือความแตกต่างระหว่างการมีตัวตนหรือไม่มีตัวตนเลยในภาพโลกของผู้ช่วย AI ช่างประปาคู่แข่งที่เว็บไซต์โหลดบริการไว้ในคำตอบแรกของเซิร์ฟเวอร์โดยตรง ย่อมมองเห็นได้ง่ายกว่าและมีโอกาสถูกแนะนำมากกว่า โดยไม่ต้องมีอะไรในธุรกิจดีกว่าเลย

วิธีตรวจสอบว่าเว็บไซต์ของคุณแสดงอะไรให้ครอว์เลอร์เห็นจริง ๆ

คุณไม่จำเป็นต้องมีความรู้ด้านเทคนิคเพื่อตรวจสอบเรื่องนี้ด้วยตัวเอง และใช้เวลาเพียงประมาณสองนาที

• คลิกขวาที่หน้าแรกของคุณแล้วเลือก "ดูซอร์สหน้าเว็บ" (หรือกด Ctrl+U / Cmd+Option+U) สิ่งที่คุณเห็นใกล้เคียงกับ HTML ดิบที่ครอว์เลอร์ดึงไป หากบริการ ราคา หรือข้อมูลสำคัญของคุณไม่อยู่ในข้อความนั้น ก็อาจไม่อยู่ในสิ่งที่ AI ครอว์เลอร์อ่านได้เช่นกัน
• ปิด JavaScript ในเบราว์เซอร์ชั่วคราว (เบราว์เซอร์ส่วนใหญ่มีตัวเลือกนี้ในเครื่องมือสำหรับนักพัฒนาหรือการตั้งค่า) แล้วโหลดหน้าแรกใหม่ สิ่งที่หายไปคือสิ่งที่ครอว์เลอร์ที่ไม่เรนเดอร์ไม่มีวันเห็นเลยตั้งแต่แรก
• ถามคำถามตรง ๆ กับคนที่สร้างหรือดูแลเว็บไซต์ของคุณ: "เนื้อหาหลักของเรา — บริการ ราคา สถานที่ เวลาทำการ — ถูกส่งมาในคำตอบแรกของเซิร์ฟเวอร์ หรือถูกเติมภายหลังด้วย JavaScript" หากคำตอบตรง ๆ คือ "เติมภายหลัง" นั่นคือสิ่งที่ควรแก้ไขก่อน

ขั้นตอนต่อไป

ทั้งหมดนี้ไม่จำเป็นต้องสร้างเว็บไซต์ใหม่เลย เพียงแค่ทำให้คำที่สำคัญที่สุด — คุณทำอะไร อยู่ที่ไหน ราคาเท่าไร ทำไมควรเลือกคุณ — มาถึงในคำตอบแรกสุดของเซิร์ฟเวอร์ ก่อนที่ JavaScript ใด ๆ จะเริ่มทำงานด้วยซ้ำ ข้อมูลแบบมีโครงสร้าง และการจัดหน้าเว็บที่สะอาดและเป็นมิตรกับครอว์เลอร์ ต่อยอดจากพื้นฐานนี้โดยตรง และ Growli ตรวจสอบว่าผู้ช่วย AI มองเห็นและแนะนำธุรกิจของคุณได้จริงในวันนี้หรือไม่ ไม่ใช่แค่ว่าเว็บไซต์ของคุณดูดีในเบราว์เซอร์หรือเปล่า

FAQ