Kerangka keputusan robots.txt untuk crawler AI

robots.txt secara singkat: standar nyata, bukan sekadar saran

robots.txt adalah file teks biasa di root sebuah situs web yang memberi tahu perangkat lunak yang berkunjung bagian mana dari situs yang boleh dan tidak boleh dijelajahi. Ini bukan penemuan eksklusif Google — ini secara resmi distandarisasi sebagai Robots Exclusion Protocol, RFC 9309, diterbitkan oleh Internet Engineering Task Force, badan yang menstandarisasi cara kerja infrastruktur dasar internet.

Setiap operator crawler AI besar menyatakan bahwa bot perayapan otomatis mereka menghormati file ini — OpenAI untuk GPTBot dan OAI-SearchBot, Anthropic untuk ClaudeBot dan Claude-SearchBot, dan Perplexity untuk PerplexityBot semuanya menyatakan ini dalam dokumentasi masing-masing. Bot yang dipicu pengguna — ChatGPT-User, Claude-User, Perplexity-User — adalah pengecualian, karena mereka bertindak atas permintaan langsung dari orang tertentu.

Pertanyaan satu: apakah Anda ingin asisten AI merekomendasikan Anda?

Ini terdengar jelas, tapi perlu dikatakan secara eksplisit karena jawaban jujurnya berbeda-beda untuk setiap bisnis. Dokter gigi, tukang ledeng, restoran lokal — hampir semua bisnis yang pelanggannya bertanya kepada teman, dan semakin sering kepada asisten AI, "siapa yang harus saya hubungi" — umumnya ingin jawabannya ya. Bisnis yang dibangun atas eksklusivitas atau proses penjualan yang dikontrol ketat mungkin punya alasan nyata untuk menjawab tidak.

Jika jawabannya ya, itu mengarah pada mengizinkan crawler yang mendukung jawaban asisten: crawler pelatihan yang mengajari model tentang keberadaan Anda, dan crawler bergaya pencarian yang memungkinkannya mengutip Anda secara langsung.

Pertanyaan dua: apakah konten ini langsung menghasilkan uang untuk Anda?

Sebagian konten ada semata-mata untuk ditemukan dan dibaca — halaman layanan, postingan blog, FAQ. Konten lain adalah produk itu sendiri: artikel khusus pelanggan dari penerbit berita, dokumentasi premium perusahaan SaaS, daftar rinci di marketplace. Konten dari kategori kedua layak mendapat jawaban yang lebih hati-hati, karena membiarkannya melatih model milik orang lain sama saja dengan memberikan gratis apa yang sedang Anda coba jual, alih-alih mempromosikannya.

Pertanyaan ini sering membagi situs web yang sama menjadi dua jawaban berbeda: halaman pemasaran mengatakan ya untuk perayapan, dan konten berbayar atau berpemilik mengatakan tidak — yang sepenuhnya sah, karena aturan robots.txt bisa ditulis untuk jalur tertentu, bukan hanya untuk seluruh situs.

Pertanyaan tiga: bisakah Anda benar-benar merawatnya?

File robots.txt yang menyebutkan sepuluh bot spesifik hari ini akan usang pada hari bot kesebelas diluncurkan. Jika tidak ada orang di tim Anda yang akan meninjau kembali file ini setiap beberapa bulan, kebijakan yang lebih sederhana dan lebih tahan lama — mengizinkan crawler besar yang terdokumentasi dengan baik sebagai satu kategori, ditinjau dua kali setahun — mengalahkan serangkaian aturan rumit yang tidak dirawat siapa pun.

Bersikap realistis tentang kapasitas perawatan Anda sendiri bukanlah kompromi; kebijakan yang benar-benar bisa Anda jaga tetap mutakhir melindungi Anda lebih baik daripada kebijakan ambisius yang menjadi usang dalam setahun.

Menerapkan kerangka ini pada tiga bisnis nyata

Tukang ledeng lokal menjawab ya untuk pertanyaan satu (ingin rekomendasi AI), pertanyaan dua hampir tidak berlaku (halaman layanan tidak mendapat apa-apa dengan tetap rahasia), dan pertanyaan tiga mudah (ada sedikit yang perlu dirawat). Kerangka ini dengan jelas mengarah pada: izinkan crawler besar secara luas.

Perusahaan SaaS menjawab ya untuk pertanyaan satu untuk situs pemasaran dan blog publiknya, tetapi jawaban tidak yang hati-hati untuk pertanyaan dua pada dokumentasi premium dan konten bantuan dalam produknya, yang aksesnya mereka jual. robots.txt mereka akhirnya memiliki dua aturan berbeda untuk dua bagian berbeda dari domain yang sama — halaman pemasaran terbuka, dokumentasi berbayar tertutup.

Penerbit berita sering memberikan jawaban paling bernuansa: ya untuk pertanyaan satu pada artikel gratis mereka, karena kutipan mendorong kesadaran nyata di kalangan pembaca, tetapi tidak yang tegas untuk pertanyaan dua pada karya investigasi berbayar yang menjadi sandaran bisnis mereka. Karena Google-Extended dan padanannya di perusahaan lain memisahkan pelatihan dari visibilitas pencarian, penerbit secara masuk akal bisa mengizinkan perayapan bergaya pencarian pada konten gratis mereka sambil tetap menolak konten yang sama digunakan untuk melatih model.

FAQ