Website Murah - File robots.txt ditempatkan di direktori root dari setiap website atau blog, sehingga memudahkan perambah mencari file robots.txt. Jika sobat tidak memiliki file robots.txt di direktori root domain, maka perambah secara default merayapi dan mengindeks setiap halaman website kita.
Semisal pada website WordPress self hosting, sobat dapat membuat file robots.txt dan menempatkannya di direktori root memakai panel kontrol hosting atau dengan menggunakan software FTP seperti Filezilla atau CuteFtp yang biasa dipakai jasa pembuatan website murah untuk upload script website :)
Kalau di blogger atau sobat yang menggunakan kustom domain blogspot, kita tidak memiliki opsi untuk masuk ke direktori root blogspot, tetapi bisa diubah dari opsi preferensi pencarian. Oke sob, kita coba menggunakan opsi ini untuk membuat robots.txt khusus.
Silahkan masuk ke admin panel blogger sobat dan pilih Settings > Search Preferences > Crawler Indexing > pilih Edit di samping Custom robots.txt.
Ketikkan kode berikut ini :
User-agent: Mediapartners-Google
Allow: /
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.sarawebdesain.com/p/sitemap.html
Silahkan cek robots.txt via google webmaster tool disini sob robots.txt tester. Selamat mencoba sob, semoga bermanfaat.
Mungkin hanya ini saja ulasan Cara Mengaktifkan Custom Robot Txt Blogger. Mohon maaf apabila ada kesalahan. Semoga artikel singkat ini bermanfaat, sampai jumpa di postingan lainnya. Salam sukses buat sobat dan terima kasih sudah berkunjung.
0 comments