Bagaimana Sebenarnya Crawler AI Membaca Situs Web Anda

Mengambil versus merender: perbedaan yang menentukan apa yang dilihat crawler

Setiap kunjungan situs web dimulai dengan cara yang sama: permintaan dikirim ke server Anda, dan server mengirim kembali respons. Respons itu adalah HTML — kerangka mentah halaman. Situs web modern sering kali sengaja mengirim kerangka ini hampir kosong, lalu menggunakan JavaScript — program kecil yang berjalan di browser pengunjung — untuk mengisinya kemudian dengan teks, harga, dan gambar yang sebenarnya.

Browser pengunjung manusia menjalankan JavaScript itu secara otomatis, sehingga mereka tidak pernah menyadari celah ini. "Rendering" adalah istilah teknis untuk langkah tambahan itu: menjalankan JavaScript dan membangun halaman yang sudah jadi. "Mengambil" hanyalah mengambil HTML mentah dan berhenti di situ. Sebagian besar crawler AI mengambil. Mereka tidak merender.

Bayangkan situs web seorang tukang ledeng yang beranda-nya langsung dimuat dengan logo dan foto, tetapi daftar layanan sebenarnya — pembersihan saluran, perbaikan pemanas air, panggilan darurat — baru muncul satu detik kemudian, diisi oleh JavaScript setelah halaman dimuat. Browser pengunjung melakukan pengisian ini dengan begitu mulus sehingga mereka tidak pernah menyadari ada dua langkah yang terjadi. Crawler AI yang hanya mengambil melihat kerangka yang hampir kosong itu dan berhenti di situ. Bagi crawler tersebut, daftar layanan itu sama sekali tidak ada.

Bot-bot ini, satu per satu, dan untuk apa sebenarnya masing-masing

"Crawler AI" bukanlah satu bot — melainkan beberapa perusahaan, masing-masing menjalankan beberapa bot untuk tugas berbeda. Mengetahui mana yang mana itu penting, karena memblokir satu tidak memblokir yang lain.

OpenAI mendokumentasikan empat bot terpisah: GPTBot mengumpulkan konten yang mungkin digunakan untuk melatih modelnya. OAI-SearchBot menjelajahi web untuk memutuskan apa yang ditampilkan ketika seseorang mencari di dalam ChatGPT. OAI-AdsBot memeriksa keamanan halaman arahan iklan tertentu. ChatGPT-User berbeda dari ketiganya — ia hanya mengunjungi halaman secara real-time karena seseorang mengajukan pertanyaan langsung ke ChatGPT, dan dokumentasi OpenAI sendiri mencatat bahwa "aturan robots.txt mungkin tidak berlaku" untuknya, karena seseorang secara eksplisit meminta pengambilan tersebut.

Anthropic menerapkan pembagian serupa: ClaudeBot mengumpulkan konten "untuk meningkatkan kegunaan dan keamanan model AI generatif kami", Claude-SearchBot menjelajahi web untuk meningkatkan hasil bergaya pencarian di dalam Claude, dan Claude-User hanya mengambil halaman ketika pertanyaan seseorang mengarahkannya ke sana. Perplexity menerapkan pola yang sama: PerplexityBot menjelajahi web untuk menampilkan dan menautkan situs web, sementara Perplexity-User hanya mengambil halaman sebagai respons atas pertanyaan seseorang.

Tidak satu pun dari bot ini merender JavaScript. Semuanya, menurut dokumentasi perusahaan-perusahaan tersebut yang dikutip di atas, seharusnya menghormati robots.txt — kecuali bot yang dipicu pengguna, yang keberadaannya justru karena ada orang sungguhan menunggu jawaban di sisi lain.

Googlebot adalah pengecualian, dan penting untuk tahu alasannya

Jika crawler AI tidak merender JavaScript, mengapa ini terasa asing? Karena Googlebot melakukannya. Google mendokumentasikan bahwa Googlebot ada "untuk menemukan informasi guna membangun indeks pencarian Google", dan untuk melakukannya dengan baik, Google membangun pipeline rendering lengkap selama bertahun-tahun — pada dasarnya menjalankan browser sungguhan dalam skala besar untuk setiap halaman yang ingin dipahami sepenuhnya.

Itu adalah infrastruktur yang benar-benar mahal, dan saat ini perusahaan AI belum membangun versi mereka sendiri untuk crawler mereka. Analisis Vercel sendiri menyatakannya dengan jelas: "tidak satu pun crawler AI utama saat ini merender JavaScript. Ini termasuk OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot), Meta (Meta-ExternalAgent), ByteDance (Bytespider), Perplexity (PerplexityBot)." Analisis yang sama menemukan bahwa crawler ini kadang mengambil file JavaScript sebuah situs — bot ChatGPT melakukannya pada sekitar 11,5% permintaan, milik Claude sekitar 23,8% — tetapi mengambil file tidak sama dengan menjalankannya. Mereka tetap tidak menjalankannya. Pada periode yang sama, Vercel mengukur 4,5 M permintaan bulanan Googlebot dibandingkan 569 Jt dari GPTBot dan 370 Jt dari crawler Claude — sebagian kecil dari volume tersebut.

Celah ini tidak harus bertahan selamanya. Tetapi bagi pemilik bisnis yang hari ini memutuskan apa yang harus dilakukan dengan situs webnya, ini adalah kenyataan saat ini, bukan hukum permanen — layak ditinjau ulang sesekali, tidak perlu membuat Anda kehilangan tidur.

Apa yang sebenarnya menjadi biaya bagi situs web nyata

Kembali ke situs tukang ledeng tadi. Jika daftar layanan, peta area layanan, dan ulasan pelanggan semuanya dimuat setelah halaman awal melalui JavaScript, inilah yang terjadi ketika seseorang bertanya kepada asisten AI "siapa yang melayani perbaikan pipa darurat di dekat saya": crawler asisten itu telah mengambil halaman tersebut pada suatu waktu, melihat kerangka yang hampir kosong, dan melanjutkan. Ia tidak pernah tahu layanan apa yang sebenarnya ditawarkan tukang ledeng ini.

Ini bukan catatan teknis kecil — ini, dengan kata sederhana, adalah perbedaan antara ada atau tidaknya sebuah bisnis dalam gambaran dunia yang dimiliki asisten AI. Tukang ledeng pesaing yang situsnya memuat layanan langsung dalam respons server pertama itu hanya lebih terlihat untuk direkomendasikan, tanpa ada apa pun yang lebih baik di bisnisnya.

Cara memeriksa apa yang sebenarnya ditampilkan situs Anda kepada crawler

Anda tidak perlu menjadi orang teknis untuk memeriksanya sendiri, dan ini hanya memakan waktu sekitar dua menit.

• Klik kanan pada beranda Anda dan pilih "Lihat Sumber Halaman" (atau tekan Ctrl+U / Cmd+Option+U). Apa yang Anda lihat mendekati HTML mentah yang diambil crawler. Jika layanan, harga, atau fakta utama Anda tidak ada dalam teks itu, kemungkinan hal itu juga tidak dapat dibaca oleh crawler AI.
• Nonaktifkan JavaScript di browser Anda sejenak (sebagian besar browser menyediakan ini di alat pengembang atau pengaturannya) lalu muat ulang beranda Anda. Apa pun yang hilang adalah persis apa yang tidak pernah dilihat crawler tanpa rendering sejak awal.
• Ajukan satu pertanyaan langsung kepada siapa pun yang membangun atau mengelola situs Anda: "Apakah konten utama kita — layanan, harga, lokasi, jam operasional — dikirim dalam respons server pertama, atau diisi kemudian oleh JavaScript?" Jika jawaban jujurnya adalah "diisi kemudian", itulah yang harus diprioritaskan untuk diperbaiki.

Langkah selanjutnya

Tidak satu pun dari ini memerlukan pembangunan ulang situs web Anda. Ini berarti memastikan kata-kata yang paling penting — apa yang Anda lakukan, di mana Anda berada, berapa biayanya, mengapa seseorang harus memilih Anda — tiba dalam respons pertama server Anda itu, sebelum JavaScript apa pun dijalankan sama sekali. Data terstruktur dan pengaturan halaman yang bersih dan ramah crawler dibangun tepat di atas fondasi ini, dan Growli memeriksa apakah asisten AI benar-benar dapat melihat dan merekomendasikan bisnis Anda hari ini, bukan sekadar apakah situs Anda terlihat bagus di browser.

FAQ