Robots.txt: Sintaks, Fungsi, dan Kesalahan Umum

Robots.txt adalah file teks di root domain yang memberi tahu crawler path mana yang boleh dan tidak boleh dirayapi. File ini bersifat publik. Siapa pun bisa membukanya, termasuk penyerang yang ingin tahu bagian mana yang Anda anggap sensitif.

Sintaks dasar

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://contoh.com/sitemap.xml

User-agent menentukan crawler yang dituju, dan * berarti semua crawler. Disallow memblokir path, sedangkan Allow membuat pengecualian. Sitemap menunjukkan lokasi sitemap. Crawler umumnya memakai aturan paling spesifik ketika ada konflik.

Yang biasanya diblokir

Path	Alasan
`/wp-admin/`	Halaman admin, kecuali `admin-ajax.php`
`/cart/`, `/checkout/`	Halaman transaksi yang tidak perlu diindeks
`/search?`	Hasil pencarian internal
`/api/`	Endpoint data, bukan halaman
File backup atau `.env`	Bukan untuk publik, tetapi blokir di server

Jangan memblokir CSS, JavaScript, atau gambar yang dibutuhkan crawler untuk memahami halaman. Kalau aset utama diblokir, Google mungkin melihat halaman sebagai konten kosong.

Crawl bukan index

Robots.txt mencegah crawling, bukan indexing. Halaman yang diblokir tetap bisa muncul di hasil pencarian jika ada tautan dari situs lain dan Google sudah tahu URL-nya. Untuk mencegah indexing, gunakan meta noindex atau header `X

Robots
Tag: noindex`.

Jangan memakai robots.txt untuk menyembunyikan halaman login, file backup, atau data pelanggan. Gunakan autentikasi, izin file, dan WAF. Crawler yang tidak patuh juga bisa mengabaikan robots.txt sepenuhnya.

Yang perlu diperhatikan

Satu baris Disallow: / bisa mengeluarkan seluruh situs dari hasil crawl. Periksa file setelah deploy, terutama kalau Anda menyalin konfigurasi dari staging. Pastikan tidak ada aturan lama yang memblokir halaman produksi.

Uji dengan Google Search Console atau alat sejenis, lalu buka https://contoh.com/robots.txt di browser. Untuk daftar URL yang ingin dirayapi, gunakan XML Sitemap. Kalau ada beberapa URL untuk konten yang sama, pelajari Canonical URL. Untuk kode respons crawler, lihat HTTP Status Codes.

Aturan per user-agent berguna kalau Anda ingin memperlakukan bot berbeda. Namun jangan memblokir /wp-json/ atau admin-ajax.php yang dipakai fitur situs. Crawl-delay tidak didukung Google, dan membatasi crawl lewat robots.txt bukan cara mempercepat server. Pantau laporan Coverage untuk melihat halaman yang tidak terayapi, dan pastikan robots.txt staging tidak terbawa ke produksi.

Sitemap di robots.txt hanya petunjuk, bukan pengganti pendaftaran di Search Console. Daftarkan sitemap secara eksplisit agar laporan crawl lebih jelas. Kalau ada halaman yang sengaja tidak diindeks, gunakan noindex, bukan Disallow, karena Disallow bisa mencegah crawler melihat instruksi noindex itu sendiri.

FAQ

Apakah robots.txt bisa menyembunyikan halaman dari publik?

Tidak. File ini hanya instruksi untuk crawler yang patuh. Halaman tetap bisa diakses langsung oleh siapa pun yang tahu URL-nya.

Apakah semua crawler mematuhi robots.txt?

Crawler besar umumnya patuh, tetapi bot spam dan scraper tidak. Jangan mengandalkannya sebagai kontrol keamanan.

Bagaimana cara memblokir satu halaman dari Google?

Gunakan meta noindex atau header `X

Robots
Tag: noindexpada halaman itu.Disallow` saja tidak cukup karena halaman masih bisa terindeks lewat tautan.