Cara Membuat dan Setting Robots.txt di WordPress Tanpa Plugins

Robots.txt adalah file yang ada di dalam situs untuk memberitahukan mesin telusur mana yang boleh atau mana yang tidak boleh di akses oleh mesin telusur itu sendiri. Banyak orang yang binggung dan terjebak di file ini. Beberapa kasus penulis temukan para pengembang website bahkan tidak mengetahui cara setting file robots txt ini sehingga menyebabkan deskripsi atau situsnya bahkan tidak di index oleh Google.

Pada dasarnya, Mesin telusur memiliki bot atau spider untuk menjelajahi sebuah situs website. Nah, tujuan dari file robots.txt itu adalah memberi tahu bot atau spider tersebut mana yang harus ia jelajahi.

Walau banyak perdebatan kegunaan dari robots.txt ini untuk SEO, Pada dasarnya, pengamatan penulis, File Robots.txt ini cukup membantu soal indexing seperti yang penulis jabarkan diatas.

Membuat file robots.txt tidaklah sulit. Kamu hanya harus melakukan beberapa langkah untuk membuatnya. Namun jika kamu pemula, kamu bisa mengikuti panduan dibawah ini untuk melakukannya.

Pada kasus ini, kita akan membuat file robots.txt untuk website yang menggunakan CMS WordPress.

  • Pertama login ke cpanel kamu.
  • Kedua masuk lah ke bagian file manager di cpanel kamu. Perhatikan gambar dibawah ini.

    file manager - Cara Membuat dan Setting Robots.txt di Wordpress Tanpa Plugins
    file manager

  • Setelah masuk kebagian file manager >> public_html/, Sekarang, kita bisa membuat file baru untuk robots.txt tersebut.
  • Pada suduh atas sebelah kiri, Klik File untuk membuat file baru.

    file - Cara Membuat dan Setting Robots.txt di Wordpress Tanpa Plugins
    New File

  • Lalu isi nama file tersebut dengan nama Robots.txt dan klik Create New File.

    file robotstxt - Cara Membuat dan Setting Robots.txt di Wordpress Tanpa Plugins
    New File Robots.txt

  • Nah, Sekarang kamu telah berhasil membuat file robots.txt di file manager kamu.

Selanjutnya, kamu harus mengisi file Robots.txt yang baru saja kamu buat. Untuk mengatur atau setting file robots.txt nya, silahkan ikuti panduan dibawah ini.

  • Di file manager kamu, Cari File Robots.txt yang baru saja kamu buat. Klik Kanan Lalu pilih edit. Perhatikan gambar dibawah ini.

    edit file robotstxt - Cara Membuat dan Setting Robots.txt di Wordpress Tanpa Plugins
    Edit File Robots.txt

  • Selanjutnya, Masukkan File berikut lalu save.
    • User-agent: *
      Disallow: /cgi-bin
      Disallow: /wp-admin
      Disallow: /wp-includes
      Allow: /wp-admin/admin-ajax.phpSitemap: https://situskamu.com/sitemap.xml
  • Selesai.

Perlu untuk kamu ketahui, Makna Disallow: adalah perintah untuk tidak untuk dirayapi. Sedangkan Allow: adalah perintah untuk merayapi. Ganti Url sitemap.xml kamu sesuai dengan url website kamu.

Jika kamu ingin agar bot google tidak merayapi salah satu file atau direktori di website kamu, Kamu tinggal menambah dibaris selanjutnya. Misalnya: Disallow:/wp-content atau yang lainnya.

Bagaimana Robots.txt Yang SEO Friendly?

Pada dasarnya, tidak ada catatan pasti untuk hal ini. Namun Google, Lewat Matt Cut sangat jelas mengatakan, Jangan pernah memblock file CSS ataupun JS melalui fil Robots.txt karena secara tidak langsung, anda akan merusak cara algoritma Google bekerja.

“Melarang Googlebot untuk merayapi Javascript atau file CSS di robots.txt situs Anda secara langsung bisa merusak cara algoritma google dan indeks konten, hal ini tidak akan dapat menghasilkan peringkat sub optimal yang lebih baik untuk peringkat seo.”

Untuk itu, kamu tidak di rekomendasikan untuk memblock atau Disallow:/wp-content kamu agar file Robots.txt kamu benar-benar seo friendly dan sesuai dengan anjuran oleh Google.

1 thought on “Cara Membuat dan Setting Robots.txt di WordPress Tanpa Plugins

Leave a Comment