Cara Setting Robots.txt di Blogger SEO Friendly

Agar blog yang telah dibuat di Blogger dapat terindeks dengan baik, pengguna perlu mengaktifkan dan melakukan  setting robots.txt blogger yang benar.

Sebenarnya, secara default, blogger sudah mengaktifkan robots.txt ketika blog pertamakali dibuat. Namun begitu, untuk lebih spesifik menentukan halaman mana saja yang perlu dirayapi oleh mesin pencari, kamu perlu mengatur dan mengaktifkan robots.txt secara manual.

Oleh karena itu, kami akan memberikan informasi terkait pengenalan robots.txt, dan bagaimana cara setting robots.txt di Blogger yang SEO friendly.

Apa itu Robots.txt

Robots.txt merupakan sebuah file teks yang berisikan beberapa baris kode yang berfungsi memberikan instruksi kepada robot google untuk menentukan URL mana saja yang boleh dan tidak boleh untuk dirayapi.

Dengan robots.txt kamu bisa mengatur halaman mana saja yang ingin kamu indeks dan tidak ingin kamu indeks di halaman pencari google. Misalnya halaman label, archive, atau halaman pencarian blog yang sebaiknya tidak diindeks.

Cara Setting Robots.txt di Blogger

Masuk kepada inti pembahasan, tentang bagaimana settingan robots.txt yang seo friendly dan aman untuk diterapkan di blogger.

Yang perlu kamu lakukan adalah, dengan mengikuti langkah-langkah berikut ini:

Aktifkan Robots.txt

Pada dashboar blogger, silakan menuju ke menu Setelan, kemudian pada bagian Crawler dan pengindeksan, klik Aktifkan robots.txt kustom.

Masukkan Kode Robots.txt

Selanjutnya, setelah robots.txt berhasil diaktifkan, klik pada robots.txt custom dan masukkan settingan kode robots.txt berikut ini.

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/bookmark.html

User-agent: ia_archiver
Disallow: /

Sitemap: https://www.blogmu.com/sitemap.xml

Berikut ini keterangan dari kode robots.txt diatas.

Kode	Keterangan
User-agent	Nama robot mesin pencari
Allow	Mengizinkan halaman untuk dirayapi oleh robot mesin pencari (user-agent).
Disallow	Tidak mengizinkan halaman untuk dirayapi oleh robot mesin pencari (user-agent).
Sitemap	Memberitahukan mesin pencari bahwa peta situs berada di alamat URL yang tertera.

Kode	Keterangan
User-agent: * Allow: / Disallow: /search Disallow: /p/bookmark.html	Memberikan izin ke pada semua user-agent atau robot untuk merayapi semua halaman blog kecuali halaman dengan url yang mengandung /search dan halaman url /p/bookmark.html
User-agent: ia_archiver Disallow: /	Tidak mengizinkan robot ia_archiver (robot archive.org) untuk merayapi semua halaman blog.
Sitemap	Memberitahukan mesin pencari lokasi dari halaman peta situs blog berada.

Simpan Pengaturan

Setelah kode berhasil dimasukkan, klik tombol Simpan.

Cara Setting Tag Header Robot Kustom

Berbeda dengan robots.txt yang dibuat sebelumnya, menu ini akan mengatur indeks blog tanpa menggunakan kode, kamu hanya perlu men-centang halaman yang perlu dirayapi mesin pencari.

Namun perlu kamu ketahui bahwa cara ini hanya berfungsi pada tema atau template blog yang sudah support penggunaan tag header ini, karena masih ada juga template blog yang tidak menerapkan kode ini pada template buatannya.

Berikut ini settingannya.

Aktifkan Tag Header

Masih pada menu setting di dashboard blogger, tepatnya pada bagian Crawler dan pengindeksan, klik Aktifkan tag header robot kustom.

Tentukan Settingan

Selanjutnya, setelah tag header robot kustom berhasil diaktifkan, klik pada Tag halaman beranda dan ikuti settingan seperti pada gambar berikut ini.

Kemudian pada Tag arsip dan halaman penelusuran silahkan atur seperti pada gambar berikut ini.

Dan pada Tag postingan dan halaman silahkan atur seperti pada gambar berikut ini.

Cek Robots.txt

Langkah terakhir yang harus dilakukan setelah men-setting robots.txt di blogger adalah dengan memastikan robots.txt berjalan dan bekerja dengan benar.

Caranya, silahkan akses melalui url https://www.blogkamu.com/robots.txt.

Jika url tersebut bisa di akses dan menampilkan kode robots.txt yang sudah dibuat tadi, maka proses pengaktifan dan setting robots.txt berhasil.

Kesimpulan

Itulah informasi dari kompinter.com mengenai Cara Setting Robots.txt Blogger yang SEO Friendly. Dengan begitu blog yang telah kamu buat akan mudah terindeks sesuai dengan pengaturan robots.txt yang sudah ditentukan.

Robots.txt sangat berperan penting dalam proses indeks artikel. Melakukan pengaturan yang benar membuat mesin pencari lebih mudah dalam melakukan perayapan sehingga artikel yang baru dipublish bisa segera tayang di halaman Google.