llms.txt: Apa Itu dan Cara Menulisnya

Apa yang sebenarnya dikatakan proposalnya

Masalah yang hendak dijawab llms.txt adalah konteks, bukan perayapan. Ketika sebuah model atau agen perlu menjawab pertanyaan memakai situs Anda, ia punya jendela konteks terbatas dan masukan yang tak bersahabat: halaman HTML penuh navigasi, spanduk kuki, bilah samping, iklan, dan konten yang dirender JavaScript. Mengubah situs besar menjadi sesuatu yang bisa dinalar model itu boros dan kehilangan banyak hal.

Spesifikasi llms.txt mengusulkan dua perbaikan yang saling melengkapi. Pertama, satu berkas Markdown di /llms.txt yang bertindak sebagai indeks terkurasi — inilah proyek ini, inilah halaman yang penting, dalam urutan prioritas. Kedua, menerbitkan versi Markdown yang bersih untuk masing-masing halaman di URL yang bisa ditebak (halaman di /docs/setup juga tersedia di /docs/setup.md), sehingga begitu agen memilih tautan dari indeks Anda, ia bisa mengambil teks alih-alih templat.

Perhatikan apa yang bukan dia. Ia tak memuat direktif, tak ada aturan izin atau larangan, dan tak memberi izin apa pun. Ia daftar bacaan yang Anda tawarkan, dan konsumen mana pun bebas mengabaikannya. Spesifikasinya sengaja Markdown alih-alih JSON atau XML justru karena konsumen yang dituju adalah model bahasa, dan karena manusia harus bisa merawatnya dengan tangan.

Bagaimana sebenarnya adopsinya

Bersikaplah skeptis terhadap siapa pun yang mengklaim llms.txt kini faktor peringkat. John Mueller dari Google secara terbuka membandingkannya dengan tag meta keywords zaman dulu dan menyatakan Google tak memakainya untuk Penelusuran; liputannya bisa Anda temukan di Search Engine Roundtable. Dokumentasi perayapan dan pengindeksan Google sendiri tak menyebut berkas ini sama sekali; berkas yang memang didokumentasikannya untuk kendali crawler adalah robots.txt.

Di sisi konsumen, posisi jujurnya adalah tak ada vendor asisten besar yang menerbitkan dokumentasi menyatakan crawler atau lapisan pengambilannya memakai /llms.txt untuk memutuskan apa yang diambil atau dikutip. Yang jelas terbukti dipakai justru arah sebaliknya: pengembang menempelkan URL llms.txt ke sebuah obrolan atau mengarahkan agen pemrograman ke sana, dan agen itu mengikuti tautannya. Itu alur kerja nyata, dan itulah alur kerja yang menjadi alasan spesifikasi ini ditulis.

Adopsi di sisi penerbit paling mudah terlihat pada dokumentasi pengembang, sebagian karena platform dokumentasi seperti Mintlify membuat berkas ini otomatis untuk situs yang mereka inangi. Itu alasan bagus untuk memilikinya kalau Anda merilis dokumentasi — dan alasan buruk untuk mengira ekosistemnya sudah baku. Konvensi yang sangat murah diadopsi hanya sedikit memberi tahu apakah ada yang benar-benar mengonsumsinya.

Cara menulis llms.txt: formatnya persis

Spesifikasinya menetapkan urutan dokumen yang presisi, dan urutan itulah intinya — konsumen mestinya bisa mengurainya dengan pembaca Markdown sederhana alih-alih heuristik.

Satu-satunya elemen wajib adalah H1 berisi nama situs atau proyek. Semua setelahnya opsional tetapi terikat posisinya: sebuah blockquote opsional persis setelah H1 yang memuat ringkasan pendek berisi informasi kunci untuk memahami sisanya; lalu nol atau lebih bagian Markdown berupa prosa atau daftar dengan detail tambahan, tanpa judul apa pun; lalu nol atau lebih bagian H2, masing-masing memuat daftar tautan.

Baris tautan berbentuk butir daftar Markdown dengan pranala dan deskripsi opsional setelah titik dua: namanya, URL-nya, lalu satu kalimat yang menjelaskan kapan halaman itu perlu dibaca. Deskripsi itu bekerja sungguhan — itulah cara model memutuskan dua dari lima belas tautan Anda yang layak diberi konteks, jadi tulislah sebagai instruksi pengarah, bukan naskah pemasaran.

Satu H2 punya makna khusus: bagian berjudul Optional. Tautan yang ditaruh di bawahnya boleh dilewati ketika konteks yang lebih pendek diperlukan. Pakai untuk catatan perubahan, materi rujukan mendalam, dan apa pun yang bisa dijawab pembaca tanpa itu. Konvensi terpisah, llms-full.txt, yang memuat teks lengkap dokumentasi Anda yang digabung, populer di platform dokumentasi tetapi bukan bagian dari spesifikasi inti — perlakukan sebagai tambahan, dan terbitkan hanya kalau konten Anda benar-benar muat dalam jendela konteks modern.

• Sajikan di akar domain sebagai /llms.txt, dengan tipe text/plain atau text/markdown, lewat HTTPS.
• Buat singkat. Sepuluh sampai tiga puluh tautan terkurasi mengalahkan tumpahan sitemap; kalau Anda butuh setiap URL, Anda sudah punya sitemap XML.
• Tulis deskripsi yang membedakan: “tingkatan harga dan batasannya”, bukan “pelajari lebih lanjut tentang Growli”.
• Tautkan hanya halaman yang dapat diakses publik dan stabil. Tautan rusak dalam indeks terkurasi lebih buruk daripada tanpa indeks.
• Buat ulang saat build, bukan dengan tangan, kalau dokumentasi Anda berubah tiap minggu.

Contoh nyata: berkas milik Growli

Punya kami sengaja kecil. Growli mengukur bagaimana asisten AI menyebut dan merekomendasikan bisnis, jadi halaman yang dibutuhkan sebuah agen adalah: apa yang dikerjakan produknya, bagaimana pengukurannya bekerja, harga, dan tulisan riset yang mendefinisikan istilah kami. Tak ada lagi yang layak mendapat tempat.

Dibaca sebagai berkas, isinya sebuah H1, satu ringkasan blockquote, lalu dua bagian H2 — yang kedua adalah Optional. Tiap baris di bawah ini adalah satu baris berkas itu:

• # Growli
• > Growli melacak bagaimana asisten AI — ChatGPT, Gemini, Claude, Perplexity, Copilot, dan Grok — menyebut, membandingkan, dan merekomendasikan bisnis, lalu mengubah kesenjangannya menjadi tindakan berprioritas.
• ## Core
• Cara kerjanya: metode pengukurannya — set prompt, irama eksekusi, dan cara penyebutan serta rekomendasi dinilai.
• Visibilitas AI: definisi metriknya, apa yang menggerakkannya, dan apa yang tidak.
• ## Optional
• Blog: tulisan riset tentang perilaku asisten, pola kutipan, dan metodologi pengukuran.

Di mana ia berada di samping robots.txt dan data terstruktur

Ketiga berkas ini menjawab tiga pertanyaan berbeda, dan mencampuradukkannya adalah kekeliruan paling umum yang kami lihat dalam audit.

robots.txt menjawab bolehkah kamu mengambil ini — ia berkas kendali akses crawler dengan perilaku penguraian yang sudah lama terdokumentasi, dan di situlah Anda mengizinkan atau melarang crawler AI yang disebut namanya. Kalau Anda ingin membatasi pelatihan atau perayapan, itu terjadi di sana dan di ketentuan Anda, tak pernah di llms.txt. Data terstruktur menjawab ini apa — kosakata Schema.org dalam JSON-LD memungkinkan Anda menyatakan tanpa ambiguitas bahwa Anda sebuah Organization dengan nama ini, produk ini, harga ini, dan ulasan ini, yaitu jenis fakta terbaca mesin yang selamat saat diringkas. llms.txt hanya menjawab apa yang sebaiknya kubaca dulu, bagi konsumen yang sudah memutuskan membaca Anda.

Dari sisi imbal hasil atas usaha, urutannya tak menarik tetapi konsisten: benahi keterbacaan crawler dan konten yang dirender di server dulu, lalu data terstruktur tingkat entitas, baru llms.txt. Berkas berisi tautan ke halaman yang tampil kosong tanpa JavaScript tak menolong siapa pun.

Jadi, perlukah Anda menerbitkannya?

Perlu, kalau Anda punya dokumentasi, API, produk untuk pengembang, atau basis pengetahuan — biayanya beberapa menit, berkasnya terbaca manusia, dan alur kerja ketika seseorang menyerahkan URL llms.txt Anda kepada sebuah agen sudah lazim. Terbitkan, jaga tetap akurat, lalu lanjutkan.

Mungkin tak layak diprioritaskan kalau Anda bisnis jasa lokal, katalog e-commerce, atau situs pemasaran berisi dua belas halaman. Tak ada bukti ia mengubah apakah asisten merekomendasikan Anda, dan tenaganya lebih baik dipakai untuk hal-hal yang jelas dibaca asisten: halaman yang tampil tanpa JavaScript, konten perbandingan dan harga yang eksplisit, fakta entitas yang konsisten di situs Anda dan pencatatan pihak ketiga, serta kehadiran di situs ulasan dan kurasi yang diandalkan model saat menjawab “X terbaik untuk Y”.

Ujian jujurnya adalah pengukuran. Lacak seberapa sering asisten menyebut Anda, pada prompt mana, dan sumber apa yang mereka kutip saat menyebut — itulah yang menjadi tujuan pelacakan visibilitas AI kami, dan cara kerjanya menjelaskan metodenya. Kalau menerbitkan llms.txt menggerakkan angka-angka itu untuk situs Anda, Anda akan melihatnya. Kalau tidak, Anda sudah menghabiskan dua puluh menit dan mempelajari sesuatu yang benar.

FAQ