Cara Memverifikasi Kunjungan Crawler AI Asli di Log Server Anda
Oleh Zakaria Reziki
CEO di Growli · 30 September 2026 · 5 menit membaca
Disusun dengan bantuan AI berdasarkan standar editorial yang ditetapkan oleh Zakaria Reziki, lalu dipublikasikan setelah melalui pengecekan sumber dan kualitas otomatis.
Satu baris di log server Anda yang bertuliskan "GPTBot" bukan bukti bahwa crawler OpenAI mengunjungi Anda — itu hanya bukti bahwa suatu permintaan mengaku sebagai GPTBot, dan siapa pun bisa membuat klaim itu. String user-agent hanyalah kalimat yang disertakan perangkat lunak pengunjung dalam permintaannya, dan tidak ada yang menghalangi scraper, alat pesaing, atau mahasiswa yang penasaran untuk mengetik nama apa pun yang mereka suka.
Untungnya, setiap operator crawler AI utama telah memecahkan masalah ini dengan cara yang sama seperti mesin pencari sebelumnya: dengan mempublikasikan daftar alamat IP asli yang benar-benar digunakan crawler mereka, sehingga siapa pun bisa memeriksa kunjungan yang diklaim terhadap kenyataan. Artikel ini menjelaskan persis caranya, menggunakan halaman verifikasi yang dipublikasikan perusahaan itu sendiri.
Mengapa nama di log Anda saja tidak cukup
Bayangkan situs web praktik dokter gigi yang log-nya menunjukkan lima puluh kunjungan bulan lalu dari sesuatu yang menyebut dirinya "GPTBot". Ini terasa seperti bukti bahwa OpenAI sedang membaca situs tersebut. Tetapi string user-agent sepenuhnya dilaporkan sendiri — seperti pengunjung di meja depan yang sekadar menyebutkan namanya dengan lantang, tanpa ada yang memeriksa identitas. Program yang sama sekali berbeda, dibuat oleh siapa saja, bisa menyebutkan nama yang persis sama.
Ini penting karena dua alasan praktis: jika Anda memutuskan apakah akan memblokir atau mengizinkan sebuah crawler, Anda ingin tahu bahwa Anda benar-benar mengontrol yang asli, bukan tiruan. Dan jika Anda mencoba memahami seberapa banyak trafik crawler AI asli yang Anda terima, hitungan yang digelembungkan atau dipalsukan memberi Anda gambaran yang sepenuhnya salah.
Metode verifikasi asli: daftar IP yang dipublikasikan
Setiap operator utama memecahkan ini dengan cara yang sama: mereka mempublikasikan file yang bisa dibaca mesin yang mencantumkan rentang alamat IP sebenarnya tempat crawler mereka mengirim permintaan. Sebuah permintaan hanya benar-benar merupakan crawler perusahaan itu jika baik nama user-agent maupun alamat IP sumbernya cocok dengan apa yang dipublikasikan perusahaan itu sendiri.
OpenAI mempublikasikan file verifikasi terpisah untuk setiap botnya — GPTBot, OAI-SearchBot, OAI-AdsBot, dan ChatGPT-User masing-masing memiliki daftarnya sendiri. Anthropic mempublikasikan satu daftar yang mencakup crawler-nya di claude.com/crawling/bots.json. Perplexity mempublikasikan file untuk kedua botnya — PerplexityBot dan Perplexity-User — dan dokumentasinya sendiri merekomendasikan memeriksa nama user-agent dan alamat IP bersamaan untuk hasil yang andal.
File verifikasi yang dipublikasikan
Di mana setiap perusahaan mempublikasikan rentang IP asli mereka
OpenAI
File terpisah untuk setiap bot — GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User.
Anthropic
Satu daftar yang dipublikasikan di claude.com/crawling/bots.json mencakup crawler-nya.
Perplexity
Satu file untuk PerplexityBot dan satu file terpisah untuk Perplexity-User.
Pemeriksaan empat langkah, dalam istilah sederhana
Anda tidak perlu menjadi developer untuk menjalankan pemeriksaan ini, meskipun bantuan seorang developer untuk langkah-langkah teknis akan mempercepatnya.
- Temukan kunjungan yang diklaim di log Anda. Cari di log akses server Anda untuk nama bot yang Anda periksa — "GPTBot," "ClaudeBot," atau "PerplexityBot" — dan catat alamat IP asal setiap permintaan.
- Buka daftar IP yang dipublikasikan perusahaan. Masing-masing adalah file teks biasa kecil di alamat di atas, dimaksudkan untuk dibaca perangkat lunak tetapi juga bisa dibaca dengan sempurna oleh manusia.
- Bandingkan alamat IP, bukan hanya namanya. Jika alamat IP dari log Anda muncul dalam rentang yang dipublikasikan perusahaan, kunjungan itu asli. Jika tidak, sesuatu mengklaim nama yang bukan miliknya.
- Periksa ulang secara berkala. Perusahaan memperbarui rentang ini seiring berubahnya infrastruktur mereka, sehingga pemeriksaan satu kali menjadi usang. Sebagian besar pemilik situs hanya perlu memeriksa ulang setiap beberapa bulan, atau kapan pun sesuatu pada trafik crawler mereka terlihat tidak biasa.
Pemeriksaannya
Memverifikasi kunjungan crawler yang diklaim
1. Temukan kunjungan di log Anda
Catat nama bot yang diklaim dan alamat IP asalnya.
2. Buka daftar yang dipublikasikan operator
File teks singkat dan sederhana yang dipelihara perusahaan itu sendiri.
3. Cocokkan IP-nya, bukan namanya
Hanya alamat IP yang cocok yang mengonfirmasi itu crawler asli.
Apa sebenarnya yang dilindungi oleh hal ini
Ini bukan soal paranoia — ini soal membuat keputusan yang terinformasi, bukan yang diasumsikan. Pemilik bisnis yang memutuskan mengizinkan GPTBot karena ingin asisten AI mempelajari produknya sebaiknya tahu bahwa trafik yang diizinkannya benar-benar GPTBot, bukan scraper tidak terkait yang meminjam nama tepercaya untuk melewati pemblokiran sederhana.
Pemeriksaan yang sama juga penting dalam arah sebaliknya: bisnis yang memblokir GPTBot di robots.txt mempercayai bahwa crawler yang sah dan berperilaku baik menghormati instruksi itu — yang menurut dokumentasi OpenAI sendiri dilakukan oleh GPTBot. Kunjungan palsu yang memakai nama GPTBot tidak akan terikat oleh kejujuran yang sama itu, satu alasan lagi mengapa pemeriksaan IP penting jika Anda suatu saat melihat trafik yang terlihat aneh. Setelah Anda memastikan siapa yang benar-benar mengunjungi Anda, panduan kami tentang cara crawler ini membaca situs Anda dan fakta tentang apakah memblokirnya memengaruhi peringkat Google Anda membahas keputusan selanjutnya.
Lihat apa yang AI katakan tentang bisnis Anda
Growli mengukur porsi jawaban AI untuk bisnis Anda di ChatGPT, Gemini, Claude, dan Perplexity — dan mengubah setiap kesenjangan menjadi tindakan yang diprioritaskan.
Mulai sekarangFAQ
Tidak. String user-agent adalah teks yang dilaporkan sendiri dan disertakan dalam sebuah permintaan, dan program apa pun bisa meletakkan nama apa pun di sana. Verifikasi asli memerlukan pemeriksaan alamat IP permintaan terhadap daftar yang dipublikasikan sendiri oleh operator crawler.
OpenAI mempublikasikan satu per bot di openai.com (lihat dokumentasi developer-nya), Anthropic mempublikasikan satu daftar di claude.com/crawling/bots.json, dan Perplexity mempublikasikan satu per bot dalam dokumentasinya sendiri. Masing-masing adalah file kecil yang sederhana.
Tidak. Server web Anda hampir pasti sudah mencatat alamat IP dan string user-agent setiap pengunjung. Membandingkan alamat IP yang tercatat dengan daftar yang dipublikasikan adalah sesuatu yang bisa dilakukan siapa saja yang nyaman membaca file teks pendek, atau bisa diminta untuk diotomatisasi oleh developer.
Perusahaan memperbarui rentang mereka seiring perubahan infrastruktur, jadi perlakukan pemeriksaan sebagai gambaran sesaat, bukan fakta permanen. Memeriksa ulang setiap beberapa bulan, atau kapan pun trafik crawler Anda terlihat tidak biasa, sudah cukup untuk sebagian besar bisnis.
Ya — OpenAI, Anthropic, dan Perplexity masing-masing mempublikasikan verifikasi IP untuk bot yang dipicu pengguna maupun bot penjelajah mereka, sehingga pemeriksaan yang sama berfungsi baik Anda memverifikasi penjelajahan luas maupun satu pengambilan real-time.