Cara Memperbaiki URL Yang di Cekal Robot.txt

Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Cara Memperbaiki URL Yang di Cekal Robot.txt
Robot.txt

Terkadang Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat. Hal ini sangat memperlambat munculnya artikel di mesin pencari. Tidak lain dan tidak bukan di sebabkan oleh kerusakan di Robot.txt.

Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.

Saya akan memberikan solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.

1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://pendingbisnis.blogspot.com/feeds/posts/default?orderby=updated

catatan: “ganti warna biru dengan URL blogg anda”

6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.

Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.

Saya menyarankan anda 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.

Semoga ” Cara Memperbaiki URL Yang di Cekal Robot.txt ” dapat bermanfaat bagi anda dalam ilmu blogging anda. Terimakasih.

Guest Post Danforblog

105 thoughts to “Cara Memperbaiki URL Yang di Cekal Robot.txt”

  1. wow, terima kasih infonya sob..
    Semangat blogwalkingnya.. hehe πŸ˜€
    Jangan lupa mampir ke blog saya dan beri komentar ya sob..

    #Salam.
    by Tutorial Blogz

  2. =>Tutorial Blogg

    =>Om Gery : Google akan mengirim pesan apabila ada kerusakan atau link yang dicekal.

    itu lah mengapa saya sarankan supaya memeriksa kesehatan blogg ke Webmaster Tools, jika tidak ada pesan peringatan berarti blogg masih sehat.

    cuma google yang bisa tau.

  3. ngecek nya di Google Webmaster Tools..

    kalau tidak dapat pesan URL Dicekal dari Goggle berarti aman..

    tapi hal ini jarang terjadi kog..

  4. saya tdk pernah dapat pesan, tapi ketika dibuka webmaster toolnya, ternyata url yang dicekal disitu ditulis ada 9…wadduh. itu kenapa y? dan cara mengetahui 9 url yang dicekal tu gimana krna disitu tdk ada rinciannya, thx πŸ™‚

  5. kalau ada URL yang di cekal ,
    tinggal ikutin aja cara di atas gan.

    biasanya di webmastertols dapat pesan cara mengatasinya.

    kalau belum bisa, kirim permintaan aja ke Google.

  6. ternyata kasus seperti saya banyak juga, ada 41 URL yang dicekal di blog saya..
    saya coba dulu deh tips diatas semoga membantu πŸ™‚

  7. iya tuh benar juga, tidak ada pesan dari google.
    tetapi, setelah dicek di webmaster ada 9 url dicekal.

    bagaimana cara mengatasinya?
    Media Blogger

  8. Thanks Infonya Mudah-mudahan bisa πŸ˜€
    terima kasih DANFORBLOGG.BLOGSPOT_com
    User-agent: Mediapartners-Google
    Disallow:

    seallinfo.blogspot_com

  9. URL(_lowongan-kerja.tk) ane di cekal, skrang ane udah praktekin tutorialnya. Mudah2an berhasil.
    izin copas Bos. karena semua artikel yg membahas tentang "robots txt" kebanyakan tentang "membuat dan memasang robots txt". kl ini unik sekali. ane akan tempelin LINK blog ente di blog ane. ok !

  10. sedang dicoba gan.diblog ku ada 19 yg dicekal
    kalau ada waktu follback blogku ya
    _wongcungkup.blogspot_com

  11. kok blog mas gak dihilangkan /search-nya setelah ane cek dengan _danforblogg.blogspot_com/robots.txt dan hasilnya masih seperti ini

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: _danforblogg.blogspot_com/feeds/posts/default?orderby=UPDATED

    1. selama gak ada masalah di Webmaster, tidak saya ganti.

      Bukan blogg ini yang kena URL cekal sama Google, tapi blogg saya yang lain,

  12. pusing nian cara diatas kok ga ada di dalam websiteku ya….adanya setting tapi preferensi penelusuran ga ada. mohon petunjuk

  13. berpa lama biasanya menunggu bagus lagi, krn blog ku _eher42_net dicekal baru 1 hari bikin gara2 salah setting robot txt, kalau belum pulih bagaimana caranya menghubungi Google Gan?

    1. biasanya butuh waktu kurang lebih 3 hari,

      kirim permintaan pesan ke Google disini gan : __google_com/webmasters/tools/reconsideration?pli=1

      Tapi saya barusan buat artikel mengenai cara kirim pesan Permintaan ke Google, tapi Jadwal Postnya jam 6 besok,

  14. wah punyaku di cekal smua gan puyeng,,,
    apa karna umur blognya baru seminggu ya???
    _devisoftshare.blogspot_com/

  15. Terimakasih gan atas pencerahannya…..
    kebetulan di blog ane ada 56 url yg dicekal……

    ane Pamit dulu gan mo Langsung ke TKP…

  16. Kalau URL yang dicekalnya sudah 0 gan, itu robot.txt khususnya tetap di aktifin atau bgaimana gan..???

  17. @Irfandi : Maap gan, ane gak Ol setiap saat, jadi jarang bales komen.

    kalau sudah 0 biarkan saja tetap aktif, nanti kalau ada URL yang dicekal lagi tidak perlu repot2 seting ulang,

  18. kalo blog ane penurunan visitornya gara2 salah settingan robot.txt ini atau gara2 ganti domain ya?
    soalnya deket banget jaraknya. URL ane juga banyak yang dicekal eung. gimana ya solusinya?

  19. @Sharing : ganti domain _com , bisa menurunkan trafic gan, tapi cuma beberapa hari saja.

    hati-hati kalau Robot.txt salah seting, Google susah merayapi artikel agan, sehingga menghambat munculnya diSearch Google.

    solusi nya perbaiki setingan robot txt nya, publish artikel original minim 2 hari sekali, untuk menstabilkan trafic

  20. punya mas dan itu robot nya masih pake /search ya πŸ˜€ ga ada yg di cekal brarti. punyaku ada beberapa, malah nambah. mksih mas tips nya ini membantu

  21. wah sangat membantu banget ini gan, kebetulan blog ane banyak yg di cekal page nya heheh

  22. @perkasa : masih belum tau gan, ane pakai cara ini bisa kog.. tapi butuh waktu lama supaya kembali normal..

    nanti kalau ada cara lain, ane update

  23. Dulu sering mengalami hal seperti ini, yakni url dicekal oleh robot Google. Tapi saya biarkan saja, soalnya nggak tahu cara mengatasinya sih ehehehehe πŸ˜€

    Thanks mas atas panduannya, nanti saya coba kalau ada pencekalan lagi πŸ™‚

  24. @Wahyu : ya mbak, kalau udah kena cekal artikel susah banget masuk ke google,

    kalau dicekal bisa butuh 1 mingguan baru bisa Optimal..

  25. Makasih, sy sekarang coba di blog sy ayam-bangkok-com.blogspot_com . Sebelumnya tercekal 112, nanti sy komen lagi disini apakah cepat berkuranggnya yang dicekal ini.

  26. gan di web mastertool saya tidak ada pesan url yang dicekal, tapi setelah saya lihat url dicekal. ternyata ada 4 url saya yang dicekal. kalau begini masalahnya apa ya gan?

  27. @Ikshan : URL yang di cekal semacam itu gak masalah gan, sebaik nya di pasang dulu aja robot txt nya..

    kalau selama gak dapat pesan dari Google ya masih normal

  28. waaahh anet coba dl ni gan. pnya ane smpe 172. kmren ane udh coba cara di atas. udah nunggu sampai 1 minggu kok gk ad perubahan'a yaa?? mohon pncerahannya donk sob.

  29. @Wijaya : cara yang saya bagikan ini hanya untuk blog yang di URL cekal jika dapat peringatan dari Google webmaster,

    meskipun jumlahnya 172 kalau situs kita tetap bisa optimal di Google gak masalah gan, blog ini juga ada 25 url yang di cekal,

  30. blog ku ada 29 url yg di cekal, cara atasi nya gmna? blog ku custom domain, apa sma cara kaya di atas?

  31. saya udah coba cara agan .. tapi masih aja gan pencekalannya ga sembuh-sembuh,,,, mohon pencerahannya gan,,,
    terima kasih

  32. @Danny : cara ini sudah tidak ampuh lagi gan, punya ane juga banyak yang di cekal, tapi selama pengunjung masih stabil ane rasa gk masalah,

  33. Gan kalau urlnya dari sub domain gimana caranya mengatasi pencekalan robot txt, ane upload webset url affiliasi, melalui cpanel hosting, ini urlnya _belajarwordpress.busanamuslim-aul_com Terimakasih

  34. maaf mas, Makasih infonya..
    saya newbie.. maklum parno kalau tahu ada artikel yang dicekal..
    Hehehe,
    Tapi dengan menerapkan seperti ini efek lainnya apa mas? Mohon bantuannya.. Terima kasih πŸ™‚

  35. okelah. Makasih, sudah dua hari nunggu yang dicekal kok tetep ada ya.. harus sabar nunggu tiga nih kayaknya, hehehehe

  36. @Wendy : nah kalau URL yang di cekal parah, pasti muncul keterangan di bagian beranda situsnya,

    ane juga banyak yang di cekal, tapi gak sampai parah sich gak masalah

  37. Om daniel help help, domain saya sebelumnya dicekal robots.txt dan saya perbaiki di webmaster dan sukses tapi digoogle masih terbaca robots.txt, mohob dibantu ini webnya _bikinvideoprofile_com, kenapa ya om. Bantuanya sangat ditunggu. Thanks

  38. @Dili : kalau URL yang dicekal munculnya gak di Dasboard, maksudnya kalau tidak ada pembertitahuan yang parah, itu tidak masalah.. blog ini juga ada URL yang di cekal,

  39. wah ternyata caranya mudah sekali, kebetulan pada blog saya kena kasus seperti ini kang, terima kasih atas ilmunya… sangat bermanfaat untuk saya. ^^

    sudah saya follow kang urutan 362.. jangan lupa follback ya.. ^^

  40. gan mau nanya…
    sumpehh gue gaptek nih
    kenapa blog saya pas di cari di google ada bacaannya :
    " A description for this result is not available because of this site's robots.txt "

    padahal saya udah 3 kali buat blog.. emailnya padahal beda semua..
    oh yah blog saya : _designnine.webs_com
    pliss saya penting banget
    solusinya bagaimana mohon agan bantu

  41. maksih gan, boleh saya bertanya?
    kalau boleh lewat apa biar cepet di balas.?
    terimaksih sebelumnya
    actrandomkindness.blogspot_com

  42. Permission Promotions please
    Thanks Greetings Indo Furniture Need Info Contact Us ……
    ISTANA MEBEL JEPARA,
    FURNITURE JEPARA,
    MEBEL JATI JEPARA,
    ALMARI MURAH,
    BALE BALE MURAH,
    BUFFET MURAH,
    DIPAN MURAH,
    KURSI MURAH
    MEJA MURAH,

  43. haduh..punyaku juga buanyak ternyata,padahal udah pke tips di atas……………….
    __4happyshare.us/

  44. Dulunya blog saya banyak sekali url yg dicekal oleh robot.txt. Tapi sekarang sudah tidak ada lagi.
    Kunjungi blog saya ya 20 teknik seo terbaru blog

  45. Sangat membantu sob saya juga kena 99 yang terblokir… smg sukses lah dengan ini.

    kunjungan perkenalan sekaligus ajakan untuk follow followan dan tukar link sob

    pusatrik.blogspot_com

  46. mas, saya sudah melakukan hal diatas, namun URL yang di cekal setiap x saya membuat artikel baru, malah bertambah URL yang dicekal, brapa lamakah menunggu URL yang dicekal bisa pulih?

    1. Coba Matikan atau Non Aktifkan robot.txt dari mengaturan – blogger –> setelan —> Preferensi Penleusuran —> robots.txt khusus. pada pilihan "Aktifkan konten robots.txt khusus?" centang TIDAK, dan bersabarlah menunggu 3 hari samapai 1 minggu, karena google juga butuh waktu untuk Crawling… salam

  47. Hallo Danforblog.
    di atas ada komen agan yang menyebutkan bahwa “cara ini sudah tidak berlaku lagi”. maksudnya gmn? apakah perlu untuk mengubah ‘robot’ standar blogger dengan ‘robot.txt’ yang ada di artikel ini?
    thx

    1. Bukan “cara ini sudah tidak berlaku lagi” tetapi “cara ini sudah tidak ampuh lagi”. Itu mungkin karena perubahan algoritma google yang semakin ketat. Namun masih layak di coba.

      Q anda ————————–
      apakah perlu untuk mengubah β€˜robot’ standar blogger dengan β€˜robot.txt’ yang ada di artikel ini?
      ————————————
      Nggak perlu, kalau blog anda tidak memiliki masalah.. seperti diatas

  48. Saya suda coba cara di atas, suda hampir 1 minggu kok artikel saya yg di cekal robot belum berkurang ya gan, mohon pencerahan nya.
    __jasalandscape_com/?m=1

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA, Maaf ini untuk menghindari SPAM Robot...! *