Agar blog yang telah dibuat di Blogger dapat terindeks dengan baik, pengguna perlu mengaktifkan dan melakukan setting robots.txt yang benar.
Secara default, blogger sudah mengaktifkan robots.txt sejak blog pertamakali dibuat. Namun begitu untuk lebih spesifik menentukan halaman mana saja yang perlu dirayapi oleh mesin pencari, kamu perlu mengatur dan mengaktifkan robots.txt secara manual.
Oleh karena itu, kami akan memberikan informasi terkait pengenalan robots.txt blogger, dan bagaimana settingan robots.txt yang SEO friendly.
{getToc}
Apa itu Robots.txt
Robots.txt merupakan sebuah file teks yang berisikan beberapa baris kode yang berfungsi memberikan instruksi kepada robot google untuk menentukan URL mana saja yang boleh dan tidak boleh untuk dirayapi.
Dengan robots.txt kamu bisa mengatur halaman mana saja yang ingin kamu index dan tidak ingin kamu index di halaman pencari google. Misalnya halaman label, archive, atau halaman pencarian blog yang sebaiknya tidak diindex.
Cara Setting Robots.txt di Blogger
Masuk kepada inti pembahasan, tentang bagaimana settingan robots.txt yang seo friendly dan aman untuk diterapkan di blogger.
Yang perlu kamu lakukan adalah, dengan mengikuti langkah-langkah berikut ini.
Aktifkan Robots.txt
Pada dashboar blogger, silakan menuju ke menu Setelan, kemudian pada bagian Crawler dan pengindeksan, klik Aktifkan robots.txt kustom.
Masukkan Kode
Selanjutnya, setelah robots.txt berhasil diaktifkan, klik pada robots.txt custom dan masukkan settingan kode robots.txt berikut ini.
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/bookmark.html
User-agent: ia_archiver
Disallow: /
Sitemap: https://www.blogmu.com/sitemap.xmlBerikut ini keterangan dari kode robots.txt diatas.
| Kode | Keterangan |
|---|---|
| User-agent | Nama robot mesin pencari |
| Allow | Mengizinkan halaman untuk dirayapi oleh robot mesin pencari (user-agent). |
| Disallow | Tidak mengizinkan halaman untuk dirayapi oleh robot mesin pencari (user-agent). |
| Sitemap | Memberitahukan mesin pencari bahwa peta situs berada di alamat URL yang tertera. |
| Kode | Keterangan |
|---|---|
| User-agent: * Allow: / Disallow: /search Disallow: /p/bookmark.html | Memberikan izin ke pada semua user-agent atau robot untuk merayapi semua halaman blog kecuali halaman dengan url yang mengandung /search dan halaman url /p/bookmark.html |
| User-agent: ia_archiver Disallow: / | Tidak mengizinkan robot ia_archiver (robot archive.org) untuk merayapi semua halaman blog. |
| Sitemap | Memberitahukan mesin pencari lokasi dari halaman peta situs blog berada. |
Simpan Pengaturan
Setelah kode berhasil dimasukkan, klik tombol Simpan.
Cara Setting Tag Header Robot Kustom
Berbeda dengan robots.txt yang dibuat sebelumnya, menu ini akan mengatur indexing blog tanpa menggunakan kode, kamu hanya perlu men-centang halaman yang perlu dirayapi mesin pencari.
Namun perlu kamu ketahui bahwa cara ini hanya berfungsi pada tema atau template blog yang sudah support penggunaan tag header ini, karena masih ada juga template blog yang tidak menerapkan kode ini pada template buatannya.
Berikut ini settingannya.
Aktifkan Tag Header
Masih pada menu setting di dashboard blogger, tepatnya pada bagian Crawler dan pengindeksan, klik Aktifkan tag header robot kustom.
Tentukan Settingan
Selanjutnya, setelah tag header robot kustom berhasil diaktifkan, klik pada Tag halaman beranda dan ikuti settingan seperti pada gambar berikut ini.
Kemudian pada Tag arsip dan halaman penelusuran silahkan atur seperti pada gambar berikut ini.
Dan pada Tag postingan dan halaman silahkan atur seperti pada gambar berikut ini.
Cek Robots.txt
Langkah terakhir yang harus dilakukan setelah melakukan setting robots.txt adalah dengan memastikan robots.txt berjalan dan bekerja dengan benar.
Caranya, silahkan akses melalui url https://www.blogkamu.com/robots.txt.
Jika url tersebut bisa di akses dan menampilkan kode robots.txt yang sudah dibuat tadi, maka proses pengaktifan dan setting robots.txt berhasil.
Kesimpulan
Itulah informasi dari kompinter.com mengenai Cara Setting Robots.txt Blogger yang SEO Friendly. Dengan begitu blog yang telah kamu buat akan mudah terindex sesuai dengan pengaturan robots.txt yang sudah ditentukan.
Robots.txt sangat berperan penting dalam proses indexing artikel. Melakukan pengaturan yang benar membuat mesin pencari lebih mudah dalam melakukan perayapan.