Trafik Crawler AI vs. Googlebot: Seperti Apa Angka Sebenarnya

Seberapa sering crawler AI benar-benar berkunjung, dibandingkan dengan Googlebot

Vercel, yang server-nya menghosting sebagian besar web modern, mempublikasikan analisis trafiknya sendiri yang mencakup satu bulan penuh di seluruh jaringannya. Googlebot menghasilkan 4,5 miliar permintaan pada periode itu. GPTBot menghasilkan 569 juta — sekitar seperdelapan dari volume tersebut. Crawler Claude menghasilkan 370 juta, lebih kecil lagi.

Secara sederhana: untuk setiap kunjungan yang dilakukan Googlebot ke web yang dihosting Vercel, GPTBot melakukan sekitar seperdelapan kunjungan, dan crawler Claude melakukan lebih sedikit lagi. Itu bukan kesalahan pembulatan — itu mencerminkan sudah berapa lama lebih lama Google membangun dan menjalankan infrastruktur Penelusuran dalam skala besar.

Merayapi dan mengirim kembali pengunjung adalah dua hal yang sangat berbeda

Volume perayapan mentah menjawab "seberapa sering bot ini berkunjung," tetapi pemilik bisnis biasanya peduli pada pertanyaan yang berbeda: "apakah ini mengirimkan pelanggan kepada saya?" Cloudflare, yang menurut datanya sendiri berada di depan sekitar seperlima dari semua trafik web, mengukur kedua sisi pertanyaan itu selama satu minggu dan mempublikasikan apa yang disebutnya rasio perayapan-ke-rujukan — berapa kali bot suatu perusahaan merayapi sebuah halaman untuk setiap satu kali mereka mengirim pengunjung sungguhan ke sana melalui tautan.

Angkanya mencolok. Cloudflare menemukan rasio keseluruhan OpenAI mendekati 887 perayapan untuk setiap 1 pengunjung yang dirujuk. Rasio Anthropic jauh lebih tinggi lagi — "hampir 50.000:1" dalam pengukuran Cloudflare. Perplexity, yang produknya dibangun di sekitar menjawab dengan tautan, memiliki rasio yang jauh lebih ketat sekitar 118 banding 1 — tetap tidak seimbang, tetapi paling mendekati di antara ketiganya dalam mengirim kembali pengunjung untuk apa yang dirayapinya.

Mengapa rasionya begitu timpang: sebagian besar perayapan untuk pelatihan, bukan jawaban

Alasan kesenjangan perayapan-ke-rujukan begitu lebar kembali pada untuk apa sebenarnya sebagian besar perayapan ini. Riset Cloudflare yang sama menemukan bahwa "trafik pelatihan, yang bertanggung jawab atas hampir 80% perayapan dari bot AI," jauh melampaui trafik yang digunakan untuk menjawab pertanyaan tertentu secara real-time — jenis trafik yang paling mungkin menyertakan tautan kembali ke situs Anda.

Perayapan pelatihan mengumpulkan konten untuk membangun atau meningkatkan model secara umum — mereka tidak punya alasan langsung untuk mengirim pengunjung ke mana pun, karena tidak ada orang tertentu yang bertanya pertanyaan tertentu. Pengambilan yang dipicu pengguna, seperti ChatGPT-User atau Perplexity-User yang mengunjungi halaman karena seseorang mengajukan pertanyaan sungguhan, adalah trafik yang paling mungkin berubah menjadi pengunjung sebenarnya, dan itu hanya sebagian kecil dari total perayapan yang terjadi.

Apa artinya ini bagi bisnis nyata

Bayangkan seorang akuntan lokal selama musim pajak. Situs webnya mungkin melihat ribuan kunjungan Googlebot per bulan dan hanya segelintir kunjungan crawler AI sebagai perbandingan — dan itu memang diharapkan, bukan tanda situsnya gagal di mata asisten AI. Yang sebenarnya penting baginya lebih sedikit soal volume dan lebih banyak soal dua pertanyaan yang lebih sempit: apakah dia dirayapi sama sekali oleh asisten yang digunakan calon kliennya, dan ketika seseorang benar-benar mengajukan pertanyaan langsung ke salah satu asisten tersebut, apakah asisten itu tahu cukup banyak tentang dia untuk menjawab dengan menyebut namanya.

Mengejar jumlah kunjungan crawler AI seperti bisnis mengejar aktivitas Googlebot selama puluhan tahun bukanlah naluri yang tepat di sini — volumenya sederhana belum dibangun dengan cara yang sama. Panduan kami untuk mendiagnosis apakah Anda dirayapi tetapi tidak dikutip membahas apa yang sebenarnya memprediksi sebuah penyebutan, yang lebih penting daripada jumlah kunjungan mentah.

FAQ