Rencana 90 Hari untuk Mengubah Crawler AI Menjadi Pelanggan
Oleh Zakaria Reziki
CEO di Growli · 1 Oktober 2026 · 7 menit membaca
Disusun dengan bantuan AI berdasarkan standar editorial yang ditetapkan oleh Zakaria Reziki, lalu dipublikasikan setelah melalui pengecekan sumber dan kualitas otomatis.
Mengubah crawler AI menjadi pelanggan adalah urutan, bukan perbaikan tunggal: pertama konfirmasi siapa yang sebenarnya merayapi Anda dan apa yang bisa mereka lihat, lalu perbaiki masalah struktural dan akses yang memblokir mereka, lalu bangun konten spesifik dan dapat dipercaya yang benar-benar memperoleh kutipan — dalam urutan itu, selama kira-kira 90 hari. Setiap fase di bawah ini tertaut ke artikel khusus yang lebih mendalam di situs ini yang membahas persis cara melakukan langkah itu; halaman ini adalah peta yang menyatukannya dalam urutan yang benar.
Tidak ada satu pun di bawah ini yang memerlukan alat khusus atau tim teknis pada hari pertama — fase pertama khususnya adalah sesuatu yang bisa dilakukan sendiri oleh pemilik bisnis mana pun dengan log server mereka sendiri dan browser web.
Minggu 1–2: cari tahu apa yang sebenarnya benar
Sebelum mengubah apa pun, tetapkan fakta nyata. Periksa log server Anda untuk kunjungan crawler AI yang diklaim, lalu verifikasi bahwa itu asli dengan mencocokkan alamat IP terhadap daftar nyata yang dipublikasikan yang masing-masing dikelola oleh OpenAI, Anthropic, dan Perplexity — panduan verifikasi lengkap ada di sini — karena nama saja dalam log Anda tidak membuktikan apa-apa.
Pada saat yang sama, periksa apa yang dapat dilihat secara teknis oleh crawler tersebut di halaman kunci Anda. Lihat kode sumber mentah halaman Anda dan pastikan fakta inti Anda — layanan, harga, lokasi — muncul dalam teks itu sendiri, bukan hanya dalam apa yang akhirnya ditampilkan browser setelah JavaScript berjalan.
Mengapa urutan ini
Setiap fase bergantung pada yang sebelumnya
Memperbaiki sebelum mengaudit membuang upaya
Anda tidak bisa tahu apa yang harus diperbaiki tanpa terlebih dahulu memastikan apa yang sebenarnya rusak.
Pekerjaan konten sebelum perbaikan akses membuang upaya
Tulisan yang lebih baik pada halaman yang tidak terbaca tetap tidak terbaca.
Mengukur terlalu dini terlihat seperti kegagalan
Beri waktu bagi perbaikan struktural untuk dirayapi ulang sebelum menilai hasil.
Minggu 3–6: perbaiki akses dan struktur
Dengan fakta nyata di tangan, perbaiki apa yang sebenarnya rusak. Kerjakan kerangka keputusan robots.txt — tiga pertanyaan, bukan daftar bot yang harus dihafal — untuk menetapkan kebijakan yang disengaja alih-alih default yang diwarisi.
Kemudian atasi kesenjangan teknis yang terungkap pada fase pertama: pindahkan fakta kunci ke respons pertama server Anda, perbaiki konten apa pun yang terjebak di balik akordeon atau tab yang hanya dimuat saat diklik, dan tinjau daftar periksa teknis lengkap untuk hal lain apa pun yang menghalangi konten Anda dan crawler yang tidak bisa menjalankan JavaScript. Jika sebagian konten Anda berada di balik login atau paywall, putuskan dengan sengaja apa yang tetap terbuka alih-alih membiarkannya pada default.
Minggu 7–10: bangun konten yang benar-benar memperoleh kutipan
Bisa dibaca tidak sama dengan layak dikutip. Fase ini tentang celah antara dirayapi dan dikutip: mengganti bahasa generik dengan klaim yang spesifik dan dapat diverifikasi, memastikan identitas dan kredensial bisnis Anda dinyatakan dengan jelas, dan memeriksa apakah sumber independen — ulasan, direktori, sebutan luar — mengkorroborasi apa yang dikatakan situs Anda sendiri tentang Anda.
Ini juga saat untuk membuat keputusan yang jernih tentang trade-off sesungguhnya antara memblokir versus mengizinkan crawler tertentu, kini diinformasikan oleh data aktual tentang situs Anda sendiri alih-alih ketakutan umum ke arah mana pun.
Minggu 11–12: ukur, dan tetapkan ekspektasi yang realistis
Tutup lingkaran dengan memeriksa apa yang sebenarnya berubah. Tinjau kembali log server Anda untuk kunjungan crawler nyata (terverifikasi), dan uji secara berkala apakah asisten AI sekarang menyebutkan bisnis Anda untuk pencarian yang penting bagi Anda.
Jaga ekspektasi Anda tetap berpijak pada bagaimana angka traffic nyata sebenarnya terlihat — Vercel mengukur volume crawler AI hanya sebagian kecil dari Googlebot, dan Cloudflare menemukan sebagian besar melayani pelatihan daripada mengirimkan pengunjung spesifik kepada Anda (rincian lengkap ada di sini). Kemajuan di sini lebih mendekati akumulasi lambat daripada lonjakan dalam semalam, dan itu normal, bukan tanda kegagalan.
Satu mitos yang harus ditinggalkan sebelum Anda mulai
Tidak ada bagian dari rencana ini yang seharusnya didorong oleh ketakutan kehilangan peringkat Google. Dokumentasi Google sendiri menyatakan dengan jelas bahwa kendali pelatihan AI-nya, Google-Extended, "tidak memengaruhi penyertaan situs dalam Google Search maupun digunakan sebagai sinyal peringkat" — dan setiap operator besar lainnya memisahkan pelatihan dari visibilitas pencarian dengan cara yang sama. Buat setiap keputusan dalam rencana ini berdasarkan nilainya sendiri, bukan karena kecemasan peringkat.
Urutan lengkap
90 hari, empat fase
Minggu 1–2: audit
Verifikasi siapa yang sebenarnya merayapi Anda dan apa yang bisa mereka lihat secara teknis.
Minggu 3–6: perbaiki akses
Kebijakan robots.txt, keterbacaan teknis, keputusan paywall.
Minggu 7–10: bangun kemampuan dikutip
Konten spesifik, dapat dipercaya, dikorroborasi yang memperoleh sebutan.
Minggu 11–12: ukur
Periksa kunjungan crawler nyata dan sebutan asisten AI yang sebenarnya.
Seperti apa ini untuk satu jenis bisnis nyata
Bayangkan klinik hewan yang dikelola keluarga sedang mengerjakan rencana ini. Pada minggu 1–2, sang pemilik memeriksa log servernya, menemukan segelintir permintaan yang mengklaim sebagai GPTBot, dan memastikan dua di antaranya asli dengan mencocokkan alamat IP terhadap daftar yang dipublikasikan OpenAI — sisanya ternyata traffic yang tidak terkait yang kebetulan menggunakan nama yang sama.
Pada minggu 3–6, ia menemukan bahwa halaman "Layanan"-nya memuat daftar perawatannya melalui sistem tab JavaScript, tidak terlihat oleh crawler non-render, dan meminta pengembang webnya memindahkan daftar itu ke HTML awal halaman. Ia juga menulis kebijakan robots.txt yang sederhana dan disengaja: mengizinkan crawler besar secara luas, karena tidak ada apa pun di situsnya yang berpaywall dan semuanya untuk diperoleh dari ditemukan.
Pada minggu 7–10, ia menulis ulang halaman Tentang-nya untuk mengganti "perawatan berbelas kasih dan berkualitas untuk hewan peliharaan Anda" dengan fakta spesifik dan dapat diverifikasi: hewan apa yang ditangani klinik, berapa lama ia beroperasi di lingkungannya, dan kredensial kedokteran hewannya sendiri — jenis klaim spesifik yang benar-benar bisa dikutip oleh asisten. Pada minggu 11–12, ia mulai secara berkala bertanya sendiri kepada beberapa asisten AI apa yang mereka katakan tentang perawatan hewan di daerahnya, dan selama beberapa bulan, ia mulai melihat kliniknya disebutkan di tempat yang sebelumnya tidak.
Lihat apa yang AI katakan tentang bisnis Anda
Growli mengukur porsi jawaban AI untuk bisnis Anda di ChatGPT, Gemini, Claude, dan Perplexity — dan mengubah setiap kesenjangan menjadi tindakan yang diprioritaskan.
Mulai sekarangFAQ
Urutan lebih penting daripada waktu yang persis. Mengaudit sebelum memperbaiki, dan memperbaiki sebelum pekerjaan konten, menghindari pemborosan upaya meningkatkan konten yang belum bisa dijangkau crawler atau yang belum bisa diverifikasi benar-benar dikunjungi.
Fase audit, sebagian besar fase akses-dan-struktur, dan seluruh fase konten dapat dilakukan langsung oleh pemilik bisnis. Beberapa perbaikan teknis mendapat manfaat dari bantuan developer, tetapi tidak ada yang memerlukan tim besar.
Memastikan fakta kunci Anda muncul dalam kode sumber mentah halaman Anda (minggu 1–2). Setiap langkah selanjutnya mengasumsikan crawler benar-benar bisa membaca konten Anda — lewati pemeriksaan itu dan sisa rencana mungkin dibangun di atas asumsi yang salah.
Dua sinyal: kunjungan crawler terverifikasi meningkat dari waktu ke waktu dalam log Anda, dan — yang lebih bermakna — bisnis Anda benar-benar muncul ketika Anda atau orang lain bertanya kepada asisten AI pertanyaan yang akan ditanyakan pelanggan Anda.
Tidak juga — perlakukan minggu 11–12 sebagai awal dari pemeriksaan triwulanan yang berkelanjutan, bukan garis finis. Crawler, model, dan cara orang menggunakannya terus berubah, dan pemeriksaan ulang triwulanan membuat Anda tetap up to date tanpa menjadi pekerjaan penuh waktu.