Crawler AI Dijelaskan: GPTBot, ClaudeBot, PerplexityBot, dan Kawan-Kawannya
Oleh Zakaria Reziki
CEO di Growli · 25 September 2026 · 9 menit membaca
Disusun dengan bantuan AI berdasarkan standar editorial yang ditetapkan oleh Zakaria Reziki, lalu dipublikasikan setelah melalui pengecekan sumber dan kualitas otomatis.
Crawler AI adalah program kecil yang dijalankan salah satu perusahaan AI untuk mengunjungi halaman web, mirip tukang pos yang menyusuri rute alamat — bedanya, "tukang pos" ini membaca isi halaman dan membawa pulang salinannya. Jika Anda pernah melihat log pengunjung situs Anda dan menemukan nama seperti "GPTBot" atau "ClaudeBot" di samping pengunjung sungguhan, itu salah satu program ini — dan ada baiknya tahu apa yang sedang dilakukannya di sana.
Kebanyakan pemilik situs pernah mendengar satu-dua nama ini dan menganggap semuanya bekerja sama. Kenyataannya tidak. Sebagian bot membangun pengetahuan jangka panjang yang menjadi dasar pelatihan sebuah model; yang lain mengambil satu halaman dalam hitungan detik setelah pelanggan mengetikkan pertanyaan di ChatGPT atau Perplexity. Mencampuradukkan keduanya adalah penyebab kesalahan paling umum yang kami lihat: sebuah bisnis memblokir "bot AI" secara umum di robots.txt — berkas teks kecil yang memberi tahu pengunjung otomatis bagian situs mana yang boleh mereka baca — berharap melindungi kontennya, dan malah membuat dirinya mustahil untuk direkomendasikan.
Panduan ini menyebutkan setiap crawler yang saat ini didokumentasikan oleh tiga pembuat asisten AI utama, dengan bahasa sederhana dan sumber yang bisa Anda periksa sendiri, agar keputusan itu diambil dengan sengaja, bukan tidak sengaja.
Bot-bot itu, satu per satu perusahaan
Bayangkan robots.txt seperti papan di pintu toko: "pengiriman lewat belakang, pelanggan disambut dari depan." Ini hanya berfungsi jika setiap pengunjung membaca papan itu — dan hanya memilah pengunjung ke kelompok jika Anda tahu papan mana berlaku untuk siapa. Berikut yang sebenarnya mengetuk pintu.
OpenAI mendokumentasikan empat bot terpisah. GPTBot mengumpulkan teks untuk membantu melatih dan meningkatkan modelnya — mirip peneliti yang membaca buku perpustakaan agar lebih pintar, bukan untuk menjawab satu pertanyaan tertentu. OAI-SearchBot berbeda: ia menjelajahi halaman agar fitur pencarian ChatGPT bisa menemukan dan mengutipnya saat pengguna bertanya sesuatu, peran yang lebih dekat dengan mesin pencari yang mengindeks web. ChatGPT-User mengunjungi halaman tepat saat seseorang sedang mengobrol dengan ChatGPT dan asisten perlu memeriksa sesuatu secara langsung — bayangkan pramuniaga yang bergegas ke gudang untuk memastikan stok, di depan mata pelanggan. OAI-AdsBot memeriksa apakah halaman yang diajukan sebagai iklan ChatGPT aman untuk direkomendasikan. OpenAI mendokumentasikan keempat bot ini, dan perilakunya terhadap robots.txt, di situs developer-nya.
Anthropic (perusahaan di balik Claude) menjalankan tiga. ClaudeBot mengumpulkan halaman untuk pelatihan model, peran membaca perpustakaan yang sama seperti GPTBot. Claude-SearchBot menjelajahi halaman untuk memperbaiki apa yang bisa ditemukan dan dikutip Claude dalam hasil pencariannya. Claude-User mengambil satu halaman tertentu tepat saat pengguna Claude menanyakannya — perilaku "periksa di depan pelanggan" yang sama seperti ChatGPT-User. Anthropic menjelaskan ketiga bot ini, dan cara mengontrol masing-masing, di pusat bantuannya.
Perplexity cukup dengan dua. PerplexityBot menjelajahi dan mengindeks halaman agar jawaban Perplexity bisa menautkannya — lagi-lagi peran pengindeksan. Perplexity-User mengambil satu halaman secara langsung, atas nama pengguna, tepat saat sebuah pertanyaan membutuhkannya. Dokumentasi Perplexity sendiri menyebut keduanya dan menjelaskan bedanya.
LIMA BOT, TIGA PERUSAHAAN
Siapa saja mereka di OpenAI, Anthropic, dan Perplexity
GPTBot (OpenAI)
Menjelajah untuk membantu melatih model OpenAI. Berkunjung sesuai jadwalnya sendiri.
ChatGPT-User (OpenAI)
Mengambil halaman secara langsung karena seseorang sedang mengobrol dengan ChatGPT saat itu.
ClaudeBot (Anthropic)
Menjelajah untuk membantu melatih Claude. Berkunjung sesuai jadwalnya sendiri.
Claude-User (Anthropic)
Mengambil halaman secara langsung karena seseorang sedang mengobrol dengan Claude saat itu.
PerplexityBot (Perplexity)
Menjelajah dan mengindeks halaman agar jawaban Perplexity bisa menautkannya.
Dua tugas, bukan satu: pelatihan lawan "saat ini juga"
Begitu pola ini terlihat, seluruh keragaman bot ini menyusut jadi dua kategori sederhana — dan perbedaan inilah yang sebenarnya mengubah apa yang seharusnya Anda lakukan.
Bot pelatihan dan pengindeksan — GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot — berkunjung sesuai jadwalnya sendiri, terlepas dari pelanggan tertentu. Begitulah cara perusahaan-perusahaan ini membangun pengetahuan umum dan indeks web yang bisa dicari, dari waktu ke waktu. Memblokir salah satunya memberi tahu perusahaan itu "jangan pakai halaman saya yang akan datang untuk ini" — pilihan yang nyata dan bermakna, tapi efeknya lambat dan tidak menyentuh apa pun yang sudah dipelajari sebelum pemblokiran.
Bot yang dipicu pengguna — ChatGPT-User, Claude-User, Perplexity-User — berkunjung karena seseorang yang nyata, di tengah percakapan, meminta asisten melihat halaman Anda saat itu juga: untuk memeriksa harga terkini, membaca menu hari ini, atau memastikan jam buka Anda. OpenAI dan Perplexity sama-sama menyatakan dengan jelas bahwa karena permintaan itu diajukan oleh seseorang, kunjungan semacam ini mungkin tidak menghormati robots.txt dengan cara yang sama seperti crawl otomatis — alasannya, orang yang mengajukan pertanyaan langsung layak mendapat akses yang sama seperti jika ia mengklik tautan itu sendiri.
Itulah sebabnya memblokir "bot AI" sebagai satu hal yang tidak dibedakan sering kali berbalik merugikan: Anda mungkin mematikan crawler yang seharusnya membuat bisnis Anda lebih mudah ditemukan bulan depan, tanpa sama sekali mencegah sebuah halaman diambil secara langsung besok — karena pengambilan itu memang bukan milik Anda untuk diblokir.
Membaca log server Anda sendiri untuk melihat siapa yang benar-benar datang
Anda tidak butuh perangkat lunak khusus untuk memeriksa apakah hal ini terjadi di situs Anda. Setiap server web menyimpan log akses — daftar berjalan tiap pengunjung dan apa yang mereka lihat — dan setiap crawler mengidentifikasi dirinya dalam baris bernama user-agent, mirip kurir yang menunjukkan lencananya.
Jika situs Anda dihosting dengan akses baris perintah, Anda bisa mencari sendiri di log itu. Perintah sesederhana mencari teks "GPTBot", "ClaudeBot", atau "PerplexityBot" di log akses Anda akan menampilkan setiap kunjungan, lengkap dengan tanggal, halaman persis yang diminta, dan apakah server mengizinkan atau memblokir kunjungan itu. Kebanyakan panel kontrol hosting (cPanel, Plesk, dan sejenisnya) menyediakan log yang sama lewat layar "log mentah" atau "log pengunjung" yang bisa diklik, jika Anda ingin menghindari baris perintah.
Ada dua hal yang layak diperiksa begitu Anda menemukannya: kapan terakhir kali sebuah bot berkunjung (bot pelatihan yang belum pernah berkunjung berarti halaman Anda belum jadi bagian data pelatihan perusahaan itu), dan apakah permintaan itu berhasil atau diblokir — halaman yang mengembalikan error ke GPTBot bisa jadi juga mengembalikan error yang sama ke browser pelanggan sungguhan, dan baik untuk diketahui bagaimanapun juga.
Menulis robots.txt yang membantu, bukan menyembunyikan Anda
robots.txt adalah berkas teks sederhana yang Anda taruh di akar situs Anda (situsanda.com/robots.txt) berisi daftar aturan tentang pengunjung otomatis mana yang boleh membaca bagian situs mana. Dokumentasi crawling Google — ditulis untuk crawler pencariannya sendiri, tapi format berkasnya dipakai bersama oleh semua operator bot — tetap menjadi penjelasan bahasa sederhana paling jelas soal sintaksnya, jika Anda belum pernah membukanya.
Untuk hampir semua bisnis lokal atau kecil, posisi awal paling aman adalah yang paling sederhana: izinkan setiap crawler membaca setiap halaman publik, dan jangan tulis aturan Disallow khusus untuk bot AI. Keuntungan dicrawl adalah peluang untuk disebut, dibandingkan, dan direkomendasikan; kerugian memblokir adalah tersingkir total dari sebuah jawaban, tanpa cara untuk mengetahuinya. Tidak ada versi "terblokir sebagian" yang membuat asisten mendeskripsikan Anda lebih baik — pemblokiran hanya bisa membuat Anda tak terlihat oleh bot itu.
Dua pengecualian sungguhan adalah halaman yang juga tidak ingin Anda tampilkan ke mesin pencari — portal pelanggan pribadi, halaman admin internal, draf yang belum dipublikasikan — yang seharusnya sudah punya aturan Disallow untuk crawler apa pun, AI atau bukan. Dan halaman yang benar-benar menyesatkan jika dibaca di luar konteks, tanpa desain dan penafian yang mengelilinginya di situs Anda, yang jarang terjadi tapi layak diperiksa ulang jika berlaku pada Anda.
Jika Anda memang memutuskan memblokir bot tertentu, gunakan nama persisnya — "GPTBot", bukan "OpenAI", bukan "bot AI" — karena setiap bot hanya patuh pada aturan yang ditulis untuk namanya sendiri. Aturan yang memblokir GPTBot tidak berpengaruh sama sekali pada OAI-SearchBot, begitu juga sebaliknya; pemisahan itulah alasan penuh mengapa perusahaan-perusahaan ini memecah bot mereka sejak awal.
- Daftar setiap bot yang ingin Anda atur dengan nama persisnya, satu baris User-agent per bot.
- Biarkan berkas kosong dari aturan Disallow khusus AI kecuali sebuah halaman memang benar-benar privat.
- Periksa ulang berkas setelah migrasi situs — hosting baru terkadang memberi robots.txt bawaan yang memblokir semuanya.
- Uji berkas yang sudah dipublikasikan di situsanda.com/robots.txt lewat browser setelah dipublikasikan; salah ketik di sini bersifat diam dan mudah terlewat.
KEPUTUSAN ROBOTS.TXT
Sikap yang masuk akal dalam tiga pertanyaan
Apakah halaman ini sudah publik di hasil pencarian?
Jika Google sudah bisa menampilkan halaman ini, crawler AI yang membacanya tidak menambah biaya apa pun.
Apakah Anda keberatan jika seseorang menemukannya lewat tautan?
Jika pengunjung manusia yang langsung mendarat di halaman itu tidak masalah, bot yang membaca halaman yang sama juga tidak masalah.
Baru pertimbangkan Disallow setelah itu
Simpan pemblokiran untuk halaman yang juga akan Anda sembunyikan dari hasil pencarian — portal privat, draf, layar admin.
Lihat apa yang AI katakan tentang bisnis Anda
Growli mengukur porsi jawaban AI untuk bisnis Anda di ChatGPT, Gemini, Claude, dan Perplexity — dan mengubah setiap kesenjangan menjadi tindakan yang diprioritaskan.
Mulai sekarangFAQ
Tidak. GPTBot hanya menyangkut apakah OpenAI bisa memakai halaman Anda untuk melatih model mendatang. Fitur pencarian ChatGPT memakai crawler terpisah, OAI-SearchBot, dan pengambilan langsungnya saat percakapan memakai ChatGPT-User — keduanya tidak terpengaruh oleh aturan yang hanya menyebut GPTBot. Untuk menyingkirkan halaman Anda khusus dari hasil pencarian ChatGPT, Anda perlu menyebut OAI-SearchBot juga.
Crawler otomatis yang berjalan sesuai jadwalnya — GPTBot, ClaudeBot, PerplexityBot, dan dua bot pengindeksan — semuanya menyatakan menghormati aturan robots.txt yang ditujukan pada nama persisnya. Bot langsung yang dipicu pengguna berbeda: OpenAI dan Perplexity sama-sama menyatakan dengan jelas bahwa karena pengambilan tertentu ini diminta oleh seseorang, aturan robots.txt mungkin tidak berlaku dengan cara yang sama, sebab permintaan itu berasal dari pertanyaan nyata seseorang, bukan crawl terjadwal.
Siapa pun bisa memalsukan string user-agent, jadi anggap itu petunjuk, bukan bukti, jika hal ini penting bagi Anda. Setiap perusahaan mempublikasikan, di samping dokumentasi bot-nya, rentang alamat IP tempat bot aslinya menjelajah — mencocokkan IP pengunjung dengan rentang yang dipublikasikan itu adalah cara andal memastikan sebuah kunjungan asli sebelum Anda bertindak berdasarkan itu.
Untuk sebagian besar situs, tidak — bot-bot ini meminta halaman dengan laju yang moderat dan sopan, kurang lebih sama dengan crawler mesin pencari, dan kebanyakan paket hosting memang dirancang untuk menampung jenis lalu lintas seperti itu. Situs yang sangat besar dengan ribuan halaman mungkin menyadarinya di log server, tapi jarang cukup besar untuk memengaruhi performa bagi pengunjung sungguhan.
Tidak — llms.txt adalah konvensi terpisah dan opsional yang dipublikasikan sebagian situs untuk menyusun daftar bacaan bagi agen AI, tapi tak satu pun crawler di atas mendokumentasikannya sebagai sesuatu yang mengubah apa yang mereka jelajahi atau cara mereka membaca robots.txt. robots.txt tetaplah berkas yang benar-benar memberi atau menahan akses.
Cukup sejauh menghindari kesalahan paling umum: memblokir sebuah bot tanpa sengaja, biasanya lewat templat robots.txt hasil salin-tempel yang melarang segalanya. Selain memeriksa bahwa berkas Anda tidak memblokir bot-bot ini secara tidak sengaja, kebanyakan bisnis kecil memperoleh nilai lebih besar dari memastikan jam buka, layanan, dan ulasannya akurat serta mudah dibaca ketimbang dari menyempurnakan aturan crawler. Untuk gambaran lebih lengkap bagaimana visibilitas AI bekerja dari ujung ke ujung, lihat [panduan Growli tentang visibilitas AI](https://growli.xyz/blog/ai-visibility).