Informasi dan Panduan Website

Cara Mengatasi Error Robots.txt di WordPress

Mengapa Robots.txt Penting untuk SEO

Dalam dunia SEO teknis, file robots.txt adalah salah satu komponen yang sering diabaikan, padahal fungsinya sangat vital. File kecil ini bertugas memberi instruksi kepada mesin pencari tentang halaman mana yang boleh atau tidak boleh diindeks.
Namun, jika terjadi kesalahan konfigurasi atau error pada file robots.txt, dampaknya bisa fatal — mulai dari halaman tidak terindeks di Google, hingga trafik organik anjlok drastis.

Bagi pengguna WordPress, error robots.txt termasuk masalah yang sering muncul, terutama setelah migrasi hosting, instalasi plugin SEO, atau pembaruan tema.
Artikel ini akan membahas secara tuntas: apa itu robots.txt, jenis error yang umum terjadi di WordPress, dan bagaimana cara memperbaikinya agar situsmu tetap SEO-friendly di tahun 2025.

Apa Itu Robots.txt?

Robots.txt adalah file teks sederhana yang terletak di root direktori situs (biasanya di https://namadomain.com/robots.txt). File ini digunakan untuk memberi instruksi kepada web crawler seperti Googlebot, Bingbot, atau AhrefsBot tentang bagian situs yang boleh diakses.

Contoh sederhana isi file robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xml

Penjelasan:

  • User-agent: * berarti aturan berlaku untuk semua mesin pencari.

  • Disallow menandakan direktori yang tidak boleh diakses.

  • Allow menentukan pengecualian.

  • Sitemap memberi tahu crawler lokasi sitemap XML situs kamu.

File ini tidak memblokir akses publik, tetapi hanya “mengarahkan” perilaku bot pencarian agar efisien.

Fungsi Robots.txt dalam SEO

File robots.txt memiliki beberapa fungsi penting:

  1. Mengatur Crawling Googlebot
    Dengan robots.txt, kamu bisa menghemat “crawl budget” agar bot fokus pada halaman penting.

  2. Mencegah Indeks Halaman Sensitif
    Seperti halaman login, admin, atau halaman yang bersifat privat.

  3. Menentukan Akses ke File Media
    Kamu bisa mengatur agar gambar, CSS, atau script tertentu tidak dirayapi.

  4. Memberi Arah ke Sitemap XML
    Googlebot bisa menemukan sitemap situs kamu dengan cepat.

  5. Mencegah Masalah Duplikasi Konten
    Dengan membatasi crawling halaman tag, parameter URL, atau kategori tertentu.

Namun, jika file ini salah dikonfigurasi, justru bisa menyebabkan Google tidak bisa mengindeks situsmu sama sekali.

Jenis Error Robots.txt yang Umum di WordPress

Berikut beberapa error robots.txt paling sering terjadi di WordPress:

1. File Robots.txt Tidak Ditemukan (404 Error)

Biasanya muncul setelah migrasi hosting atau kesalahan konfigurasi permalink. Google Search Console akan menampilkan pesan:

“Couldn’t fetch robots.txt”

2. Access Denied (403 Forbidden)

Artinya server menolak akses ke file robots.txt. Ini bisa disebabkan oleh pengaturan keamanan atau plugin firewall.

3. Isi Robots.txt Tidak Sesuai

Beberapa plugin SEO bisa menimpa isi file robots.txt dengan aturan yang salah, misalnya menambahkan Disallow: /, yang memblokir seluruh situs dari Googlebot.

4. File Robots.txt Virtual Tidak Terbaca

WordPress membuat robots.txt “virtual” (tanpa file fisik) jika kamu belum membuatnya secara manual. Jika plugin SEO crash, file ini bisa hilang.

5. Error dari CDN atau Cache

Jika kamu menggunakan Cloudflare atau plugin caching, file robots.txt bisa tersimpan versi lama dan tidak sesuai.

Cara Mengecek Robots.txt di WordPress

Sebelum memperbaiki, kamu harus memastikan error-nya. Berikut beberapa cara untuk memeriksa:

  1. Langsung dari Browser:
    Buka https://namadomain.com/robots.txt — jika muncul teks aturan, file kamu aktif.

  2. Google Search Console (GSC):

    • Masuk ke GSC

    • Pilih menu Settings → Crawl Stats → View robots.txt fetched

    • Lihat apakah Google bisa mengakses file dengan benar.

  3. Tool Online:
    Gunakan tools seperti:

Jika hasilnya menunjukkan error atau file kosong, lanjut ke langkah perbaikan di bawah.

Cara Mengatasi Error Robots.txt di WordPress

1. Periksa File Fisik Robots.txt di Root Folder

Masuk ke hosting kamu (melalui cPanel atau File Manager). Pastikan file robots.txt ada di direktori utama (public_html atau /).
Jika tidak ada, buat file baru dengan isi:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xml

Simpan file dengan nama robots.txt dan unggah ke root folder situsmu.

2. Periksa Pengaturan di Plugin SEO (Yoast, Rank Math, dll.)

Plugin SEO populer seperti Yoast dan Rank Math menyediakan fitur untuk mengedit robots.txt langsung dari dashboard.

Untuk Yoast SEO:

  • Masuk ke SEO → Tools → File editor.

  • Jika file belum ada, klik “Create robots.txt file.”

  • Pastikan tidak ada baris Disallow: / atau aturan yang memblokir seluruh situs.

Untuk Rank Math:

  • Buka Rank Math → General Settings → Edit robots.txt.

  • Pastikan isinya sesuai dan sitemap sudah tercantum.

Setelah itu, simpan dan periksa ulang di browser.

3. Cek Pengaturan “Search Engine Visibility” di WordPress

Beberapa situs tidak terindeks karena WordPress secara tidak sengaja memblokir mesin pencari.

  • Masuk ke Settings → Reading.

  • Pastikan opsi “Discourage search engines from indexing this site” tidak dicentang.

Jika opsi ini aktif, WordPress otomatis menambahkan Disallow: / ke robots.txt virtual.

4. Periksa File .htaccess

File .htaccess yang salah konfigurasi bisa menyebabkan error 403 atau 404 pada robots.txt.
Buka file .htaccess di root dan pastikan tidak ada baris seperti ini:

<Files "robots.txt">
Order Allow,Deny
Deny from all
</Files>

Jika ada, hapus baris tersebut lalu simpan file.

5. Nonaktifkan Sementara Plugin Cache atau Firewall

Plugin seperti Cloudflare, WP Rocket, LiteSpeed Cache, atau Wordfence kadang memblokir akses robots.txt.
Coba langkah berikut:

  • Nonaktifkan plugin caching dan keamanan satu per satu.

  • Bersihkan cache setelah perubahan.

  • Cek ulang file di browser.

Jika file bisa diakses setelah plugin dimatikan, berarti penyebabnya berasal dari plugin tersebut.

6. Pastikan Robots.txt Bisa Diakses Tanpa Redirect

Beberapa situs mengalami masalah karena robots.txt diarahkan ke URL lain, misalnya HTTPS ke HTTP.
Pastikan kamu hanya memiliki satu versi situs yang aktif — gunakan redirect 301 dari HTTP ke HTTPS, bukan sebaliknya.
Periksa menggunakan:

curl -I https://namadomain.com/robots.txt

Jika hasilnya 200 OK, berarti file bisa diakses dengan benar.

7. Gunakan File Robots.txt Virtual (Jika Diperlukan)

Jika kamu tidak ingin membuat file fisik, WordPress bisa otomatis membuat robots.txt virtual melalui plugin SEO.
Pastikan plugin aktif dan konfigurasi sudah benar. File virtual ini akan tetap dikenali oleh Google.

Contoh File Robots.txt yang Benar untuk WordPress

Berikut contoh konfigurasi yang disarankan untuk WordPress di tahun 2025:

User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xml

Untuk situs e-commerce atau blog besar, kamu juga bisa menambahkan baris tambahan:

Disallow: /cart/
Disallow: /checkout/
Disallow: /thank-you/

File ini memastikan crawler hanya fokus pada halaman yang benar-benar penting untuk SEO.

Cara Menguji Robots.txt Setelah Diperbaiki

Setelah memperbaiki, pastikan semuanya berjalan baik dengan langkah berikut:

  1. Gunakan Alat Tester Google
    Buka Robots.txt Tester di Search Console → pilih situs → masukkan URL halaman → klik Test.

  2. Gunakan Fetch as Google (Inspect URL)
    Masukkan URL halaman yang ingin kamu uji di GSC → klik “Inspect URL” → lihat apakah “Crawling allowed?” menampilkan Yes.

  3. Cek Ulang di Browser & Cache
    Hapus cache Cloudflare atau plugin caching dan akses ulang robots.txt dari browser.

Kesalahan yang Harus Dihindari

Beberapa kesalahan kecil bisa menyebabkan dampak besar terhadap SEO. Hindari hal-hal berikut:

  • Menambahkan Disallow: / tanpa alasan.

  • Lupa memperbarui URL sitemap setelah ganti domain.

  • Menggunakan format huruf besar atau karakter aneh.

  • Mengedit robots.txt melalui plugin yang tidak kompatibel.

  • Memblokir folder penting seperti /wp-content/uploads/.

Ingat: robots.txt adalah file publik. Jangan pernah menaruh data sensitif di dalamnya.

Tips Profesional untuk Robots.txt yang SEO-Friendly

  1. Sertakan URL Sitemap agar Google cepat menemukan struktur kontenmu.

  2. Gunakan wildcard dengan hati-hati. Contoh:

    Disallow: /*?ref=

    untuk memblokir parameter UTM atau tracking link.

  3. Audit secara berkala dengan Screaming Frog atau Ahrefs.

  4. Selalu gunakan HTTPS. Robots.txt di HTTP sering diabaikan oleh Google.

  5. Pastikan file selalu memberikan kode status 200 (OK).

Dengan mengikuti tips ini, kamu menjaga efisiensi crawling Googlebot dan memperkuat struktur teknis SEO situsmu.

Kesimpulan

Error pada file robots.txt mungkin terlihat sepele, tapi efeknya terhadap SEO bisa sangat besar. Situs yang tidak bisa diakses crawler Google berarti kehilangan kesempatan tampil di hasil pencarian.

Untuk mengatasi error robots.txt di WordPress:

  • Pastikan file tersedia dan bisa diakses.

  • Periksa pengaturan plugin SEO dan cache.

  • Hindari aturan Disallow yang tidak perlu.

  • Uji ulang di Google Search Console.

Dengan konfigurasi yang benar, file robots.txt akan membantu Googlebot menjelajahi situsmu secara efisien tanpa membuang crawl budget.

Di era SEO 2025, kecepatan, struktur, dan pengalaman pengguna adalah prioritas utama — dan robots.txt tetap menjadi fondasi penting di balik semua itu.

Click to rate this post!
[Total: 0 Average: 0]