Robots.txt adalah file teks yang digunakan untuk memberi tahu crawler mesin pencari URL mana yang boleh atau tidak boleh mereka akses pada sebuah website. File ini ditempatkan di root domain dan dibaca oleh crawler yang mematuhi standar robots.txt.
Robots.txt berguna untuk mengelola aktivitas crawling, tetapi bukan alat untuk menghapus halaman dari hasil pencarian. Google secara eksplisit menjelaskan bahwa memblokir URL di robots.txt tidak sama dengan mencegah URL tersebut diindeks.
Apa fungsi robots.txt
Fungsi utama robots.txt adalah mengatur akses crawler ke bagian tertentu dari website. Pada situs besar, pengaturan ini dapat membantu mengurangi crawling pada URL yang tidak perlu diproses terus-menerus, seperti kombinasi filter tertentu, halaman hasil pencarian internal, atau area teknis yang tidak perlu dirayapi.
Penggunaan robots.txt perlu hati-hati karena aturan yang salah dapat memblokir halaman atau resource yang sebenarnya dibutuhkan mesin pencari untuk memahami website.
Di mana robots.txt berada
File robots.txt berada di root host, misalnya https://example.com/robots.txt. Aturan pada satu host tidak otomatis berlaku untuk subdomain lain. Jika website menggunakan beberapa subdomain, konfigurasi perlu diperiksa pada masing-masing host yang relevan.
Struktur dasar robots.txt
Aturan robots.txt umumnya menggunakan beberapa directive utama.
- User-agent menentukan crawler yang menjadi target aturan.
- Disallow menentukan path yang tidak ingin dirayapi crawler tersebut.
- Allow dapat digunakan untuk memberi pengecualian pada bagian tertentu dari path yang lebih luas.
- Sitemap dapat mencantumkan lokasi sitemap website.
Contoh sederhana:
User-agent: * Disallow: /area-internal/ Sitemap: https://example.com/sitemap.xml
Contoh tersebut hanya ilustrasi. Path yang tepat harus mengikuti struktur website sebenarnya.
Robots.txt bukan alat noindex
Salah satu kesalahan yang sering terjadi adalah menganggap Disallow akan menghapus halaman dari Google. Google menjelaskan bahwa URL yang diblokir dari crawling masih dapat muncul di hasil pencarian dalam kondisi tertentu jika URL tersebut ditemukan melalui link lain.
Jika tujuannya adalah mencegah sebuah halaman tampil di hasil pencarian, pendekatan yang tepat biasanya menggunakan noindex atau mekanisme akses yang sesuai. Agar crawler dapat membaca directive noindex pada halaman, URL tersebut tidak boleh diblokir lebih dulu oleh robots.txt.
Kapan robots.txt berguna
- Mengurangi crawling pada area yang tidak penting untuk pencarian.
- Mengelola path teknis tertentu pada website besar.
- Mengatur akses crawler spesifik jika memang diperlukan.
- Mencantumkan lokasi sitemap.
Robots.txt tidak perlu dibuat rumit jika struktur website sederhana. Aturan tambahan sebaiknya hanya dibuat ketika ada alasan teknis yang jelas.
Kesalahan robots.txt yang perlu dihindari
Memblokir seluruh website tanpa sengaja
Directive yang terlalu luas dapat membuat crawler tidak dapat mengakses halaman penting. Perubahan robots.txt sebaiknya selalu direview sebelum diterapkan pada website production.
Memblokir CSS atau JavaScript penting
Mesin pencari dapat membutuhkan resource untuk merender halaman. Pemblokiran resource penting dapat mengurangi kemampuan crawler memahami tampilan dan fungsi halaman.
Menggunakan robots.txt untuk menyembunyikan data sensitif
Robots.txt dapat diakses publik. Informasi rahasia seharusnya dilindungi dengan autentikasi atau kontrol akses yang sesuai, bukan sekadar directive crawler.
Menggabungkan Disallow dan noindex secara keliru
Jika crawler tidak dapat mengakses URL karena robots.txt, crawler juga tidak dapat membaca meta robots yang berada di halaman tersebut.
Cara memeriksa robots.txt
- Buka file robots.txt pada root domain.
- Catat user-agent dan path yang diblokir.
- Pastikan halaman penting tidak ikut terkena aturan yang terlalu luas.
- Periksa sitemap yang dicantumkan.
- Bandingkan aturan dengan struktur URL aktual.
- Uji dampaknya menggunakan alat yang relevan sebelum melakukan perubahan besar.
Prinsip aman saat mengubah robots.txt
Setiap perubahan robots.txt sebaiknya mempunyai alasan yang spesifik. Jangan menyalin konfigurasi dari website lain tanpa memahami struktur URL dan tujuan teknisnya. File yang sederhana, terdokumentasi, dan diuji biasanya lebih aman daripada kumpulan aturan panjang yang tidak jelas asalnya.
Untuk website bisnis, prioritas utamanya adalah memastikan halaman layanan, artikel penting, dan resource yang dibutuhkan untuk rendering tetap dapat dirayapi ketika memang ingin ditemukan melalui mesin pencari.
