Apakah Memblokir Crawler AI Merugikan Peringkat Google Anda?

Versi singkatnya, dengan kata-kata Google sendiri

Google menerbitkan halaman yang secara khusus menjelaskan crawler dan fetcher-nya, dan menarik garis sejelas yang bisa dilakukan dokumen semacam ini. Tentang Google-Extended, halaman tersebut menyatakan: "Google-Extended tidak memengaruhi penyertaan situs dalam Google Penelusuran maupun digunakan sebagai sinyal peringkat dalam Google Penelusuran."

Tentang Googlebot, halaman yang sama menjelaskan tujuannya sebagai merayapi "untuk menemukan informasi guna membangun indeks pencarian Google, melakukan perayapan khusus produk lainnya, dan untuk analisis." Dua tugas berbeda, dinyatakan dengan jelas, oleh perusahaan yang sama yang menjalankan keduanya.

Apa Sebenarnya Google-Extended Itu

Inilah bagian yang mengejutkan kebanyakan orang: Google-Extended bukan bot terpisah yang muncul di situs web Anda dengan nama sendiri. Dokumentasi Google sangat spesifik soal ini — "Google-Extended tidak beroperasi melalui string user-agent HTTP yang terpisah. Sebaliknya, perayapan dilakukan dengan string user-agent Google yang sudah ada; token user-agent robots.txt digunakan dalam kapasitas kontrol."

Dalam istilah sederhana: perayapan yang sama yang sudah dilakukan Googlebot bisa melayani dua tujuan. Google-Extended adalah instruksi yang Anda berikan di file robots.txt Anda tentang apakah konten yang sudah dirayapi itu juga boleh digunakan untuk melatih model Gemini di masa depan dan mendasari jawaban Gemini. Ini adalah pengaturan izin yang ditumpuk di atas kunjungan yang sudah ada, bukan pengunjung kedua.

Cara Mengatur Keduanya Secara Independen, dalam Istilah Sederhana

Karena Googlebot dan Google-Extended diatur oleh aturan robots.txt yang terpisah, Anda bisa memilih masing-masing sendiri-sendiri. Bisnis yang ingin tetap sepenuhnya terlihat di hasil Google Penelusuran, tetapi tidak ingin kontennya memberi makan pelatihan atau jawaban Gemini, bisa melakukan persis itu: izinkan user-agent Googlebot seperti biasa, dan tambahkan aturan Disallow terpisah untuk user-agent Google-Extended.

Kebalikannya juga benar — Anda secara teoretis bisa memblokir Googlebot (dan menghilang sepenuhnya dari Google Penelusuran, yang hampir tidak diinginkan bisnis mana pun) sambil mengizinkan Google-Extended, meski dalam praktiknya hampir tidak ada yang punya alasan untuk melakukan itu. Intinya sederhana: ini adalah dua tuas yang berbeda, bukan satu, dan menarik salah satunya tidak menggerakkan yang lain.

Contoh Konkret: Toko Roti Milik Keluarga

Bayangkan seorang pemilik toko roti yang membaca secara daring bahwa "memblokir bot AI merugikan SEO Anda" dan, karena takut, membiarkan semuanya terbuka lebar daripada mempertaruhkan peringkat Google-nya — termasuk crawler yang sebenarnya lebih ingin dia jauhkan.

Dengan fakta di atas, dia punya pilihan yang lebih jelas: file robots.txt-nya bisa secara eksplisit mengizinkan Googlebot (menjaga toko rotinya tetap sepenuhnya bisa dicari di Google, persis seperti sebelumnya) sambil secara eksplisit melarang Google-Extended (mengeluarkan deskripsi menu dan fotonya dari pelatihan model Gemini di masa depan) — tanpa menyentuh visibilitas Penelusurannya sama sekali. Keputusan tentang pelatihan Gemini menjadi pilihan yang disengaja dan terpisah, bukan efek samping yang hanya dia duga-duga.

Mengapa Kebingungan Ini Begitu Umum, dan Cara Menghindarinya ke Depan

Kebingungan ini bisa dimengerti: robots.txt secara historis hampir seluruhnya merupakan alat peringkat pencarian, jadi baris baru apa pun yang ditambahkan ke dalamnya terasa harus berkaitan dengan peringkat juga. Google-Extended mematahkan pola lama itu — ini adalah token robots.txt arus utama pertama yang secara eksplisit, menurut pernyataan Google sendiri, tidak berkaitan dengan peringkat.

Kebiasaan paling aman ke depannya sederhana: jangan menebak. Ketika crawler atau token baru muncul, periksa dokumentasi resmi perusahaan tersebut untuk mengetahui apa yang sebenarnya dikontrolnya sebelum mengubah apa pun — disiplin yang sama yang menjadi dasar artikel ini.

FAQ