Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.
Terkadang Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat. Hal ini sangat memperlambat munculnya artikel di mesin pencari. Tidak lain dan tidak bukan di sebabkan oleh kerusakan di Robot.txt.
Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.
Saya akan memberikan solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.
1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://pendingbisnis.blogspot.com/feeds/posts/default?orderby=updated
catatan: “ganti warna biru dengan URL blogg anda”
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.
Saya menyarankan anda 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.
Semoga ” Cara Memperbaiki URL Yang di Cekal Robot.txt ” dapat bermanfaat bagi anda dalam ilmu blogging anda. Terimakasih.
wow, terima kasih infonya sob..
Semangat blogwalkingnya.. hehe 😀
Jangan lupa mampir ke blog saya dan beri komentar ya sob..
#Salam.
by Tutorial Blogz
tetapi bagaimana kita mengetahui link yang dicekal?
and sy dah follow back, terima kasih sudah mampir?
salam sukses
=>Tutorial Blogg
=>Om Gery : Google akan mengirim pesan apabila ada kerusakan atau link yang dicekal.
itu lah mengapa saya sarankan supaya memeriksa kesehatan blogg ke Webmaster Tools, jika tidak ada pesan peringatan berarti blogg masih sehat.
cuma google yang bisa tau.
ngeceknya gimana yaah url mana yg dicekal
ngecek nya di Google Webmaster Tools..
kalau tidak dapat pesan URL Dicekal dari Goggle berarti aman..
tapi hal ini jarang terjadi kog..
saya tdk pernah dapat pesan, tapi ketika dibuka webmaster toolnya, ternyata url yang dicekal disitu ditulis ada 9…wadduh. itu kenapa y? dan cara mengetahui 9 url yang dicekal tu gimana krna disitu tdk ada rinciannya, thx 🙂
kalau ada URL yang di cekal ,
tinggal ikutin aja cara di atas gan.
biasanya di webmastertols dapat pesan cara mengatasinya.
kalau belum bisa, kirim permintaan aja ke Google.
Info yang sangat bagus, dan patut untuk di coba! Trims
thanks buat kunjunganya…
info yang berguna kawan 🙂
ternyata kasus seperti saya banyak juga, ada 41 URL yang dicekal di blog saya..
saya coba dulu deh tips diatas semoga membantu 🙂
semoga saja cepat teratasi gan,
Thanks Infonya Sob, sangat membantu,,,
iya tuh benar juga, tidak ada pesan dari google.
tetapi, setelah dicek di webmaster ada 9 url dicekal.
bagaimana cara mengatasinya?
Media Blogger
di atas itu kan, juga ada cara ngatasinya..
trims.. simple dan mudah dimengerti..!!
terima kasih gan, url saya 125 yang dicekal. waduh kayak kiamat ney…
saya juga makasih deh walau 404 error belum teratasi
Sama-sama
banyak gan, coba aja cara di atas, ane sudah coba dan berhasil.
trmkasih sob.,,informasinya bermanfaat sob..
@Dangelto : sama sama gan Dangelto
Thanks Infonya Mudah-mudahan bisa 😀
terima kasih DANFORBLOGG.BLOGSPOT_com
User-agent: Mediapartners-Google
Disallow:
seallinfo.blogspot_com
@Hadidar : Sama sama gan Hadidar , kalau berhasil komen ya ??
7 Artikel Ku Dicekal Sob… Terima Kasih Pencerahannya
@jerenk : Sama-sama gan, semoga bisa cepat teratasi..
URL(_lowongan-kerja.tk) ane di cekal, skrang ane udah praktekin tutorialnya. Mudah2an berhasil.
izin copas Bos. karena semua artikel yg membahas tentang "robots txt" kebanyakan tentang "membuat dan memasang robots txt". kl ini unik sekali. ane akan tempelin LINK blog ente di blog ane. ok !
iya gan, ane pakai cara ini berhasil kog.. 🙂
silahkan gan
sedang dicoba gan.diblog ku ada 19 yg dicekal
kalau ada waktu follback blogku ya
_wongcungkup.blogspot_com
kok blog mas gak dihilangkan /search-nya setelah ane cek dengan _danforblogg.blogspot_com/robots.txt dan hasilnya masih seperti ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: _danforblogg.blogspot_com/feeds/posts/default?orderby=UPDATED
selama gak ada masalah di Webmaster, tidak saya ganti.
Bukan blogg ini yang kena URL cekal sama Google, tapi blogg saya yang lain,
sedang di coba nih
moga aja berhasil
sip gan, moga berhasil
ma kasih gan url saya: htp://alegober.blogspot_com dicekal soalnya
semoga bisa teratasi gan, 🙂
pusing nian cara diatas kok ga ada di dalam websiteku ya….adanya setting tapi preferensi penelusuran ga ada. mohon petunjuk
agan pakai Blogger atau Platform lain ??,
berpa lama biasanya menunggu bagus lagi, krn blog ku _eher42_net dicekal baru 1 hari bikin gara2 salah setting robot txt, kalau belum pulih bagaimana caranya menghubungi Google Gan?
biasanya butuh waktu kurang lebih 3 hari,
kirim permintaan pesan ke Google disini gan : __google_com/webmasters/tools/reconsideration?pli=1
Tapi saya barusan buat artikel mengenai cara kirim pesan Permintaan ke Google, tapi Jadwal Postnya jam 6 besok,
ok thanks Gan, sudah kucoba barusan masih tunggu konfirmasi.
Oke gan, semoga berhasil
gan url ane yang di cekal 29 itu gmana tuh cara benerinya
coba Pakai cara diatas aja gan,
wah punyaku di cekal smua gan puyeng,,,
apa karna umur blognya baru seminggu ya???
_devisoftshare.blogspot_com/
Terimakasih gan atas pencerahannya…..
kebetulan di blog ane ada 56 url yg dicekal……
ane Pamit dulu gan mo Langsung ke TKP…
@Akiaki : gk pengaruh gan, coba cara diatas aja,
@miqbal : Sama sama mas, semoga berhasil,
Kalau URL yang dicekalnya sudah 0 gan, itu robot.txt khususnya tetap di aktifin atau bgaimana gan..???
komentar ane belum di jawab nihh… 🙁
@Irfandi : Maap gan, ane gak Ol setiap saat, jadi jarang bales komen.
kalau sudah 0 biarkan saja tetap aktif, nanti kalau ada URL yang dicekal lagi tidak perlu repot2 seting ulang,
Thanks sob untuk setingan robots.txtnya 😀
kalo blog ane penurunan visitornya gara2 salah settingan robot.txt ini atau gara2 ganti domain ya?
soalnya deket banget jaraknya. URL ane juga banyak yang dicekal eung. gimana ya solusinya?
@Sharing : ganti domain _com , bisa menurunkan trafic gan, tapi cuma beberapa hari saja.
hati-hati kalau Robot.txt salah seting, Google susah merayapi artikel agan, sehingga menghambat munculnya diSearch Google.
solusi nya perbaiki setingan robot txt nya, publish artikel original minim 2 hari sekali, untuk menstabilkan trafic
punya mas dan itu robot nya masih pake /search ya 😀 ga ada yg di cekal brarti. punyaku ada beberapa, malah nambah. mksih mas tips nya ini membantu
di blog saya yang di cekal masih saya pakai untuk berjaga2 kalau kena cekal lagi.. 🙂
wah sangat membantu banget ini gan, kebetulan blog ane banyak yg di cekal page nya heheh
silahkan di coba gan.
aku sudah coba gan,tapi masih sama gak ada perubahan..ada alternatif lain gak gan???
@perkasa : masih belum tau gan, ane pakai cara ini bisa kog.. tapi butuh waktu lama supaya kembali normal..
nanti kalau ada cara lain, ane update
kereen banget gan tangks,,,semoga url saya cepet pulih
Dulu sering mengalami hal seperti ini, yakni url dicekal oleh robot Google. Tapi saya biarkan saja, soalnya nggak tahu cara mengatasinya sih ehehehehe 😀
Thanks mas atas panduannya, nanti saya coba kalau ada pencekalan lagi 🙂
@Wahyu : ya mbak, kalau udah kena cekal artikel susah banget masuk ke google,
kalau dicekal bisa butuh 1 mingguan baru bisa Optimal..
Makasih, sy sekarang coba di blog sy ayam-bangkok-com.blogspot_com . Sebelumnya tercekal 112, nanti sy komen lagi disini apakah cepat berkuranggnya yang dicekal ini.
@Masri : semoga cepet normal gan, biar blog nya lebih optimal. 😀
gan di web mastertool saya tidak ada pesan url yang dicekal, tapi setelah saya lihat url dicekal. ternyata ada 4 url saya yang dicekal. kalau begini masalahnya apa ya gan?
@Ikshan : URL yang di cekal semacam itu gak masalah gan, sebaik nya di pasang dulu aja robot txt nya..
kalau selama gak dapat pesan dari Google ya masih normal
waaahh anet coba dl ni gan. pnya ane smpe 172. kmren ane udh coba cara di atas. udah nunggu sampai 1 minggu kok gk ad perubahan'a yaa?? mohon pncerahannya donk sob.
@Wijaya : cara yang saya bagikan ini hanya untuk blog yang di URL cekal jika dapat peringatan dari Google webmaster,
meskipun jumlahnya 172 kalau situs kita tetap bisa optimal di Google gak masalah gan, blog ini juga ada 25 url yang di cekal,
blog ku ada 29 url yg di cekal, cara atasi nya gmna? blog ku custom domain, apa sma cara kaya di atas?
Cara ini hanya untuk memperbaiki Robot.txt yang Eror atau hilang gan,
coba dulu aja pakai cara diatas,
saya udah coba cara agan .. tapi masih aja gan pencekalannya ga sembuh-sembuh,,,, mohon pencerahannya gan,,,
terima kasih
@Danny : cara ini sudah tidak ampuh lagi gan, punya ane juga banyak yang di cekal, tapi selama pengunjung masih stabil ane rasa gk masalah,
Gan kalau urlnya dari sub domain gimana caranya mengatasi pencekalan robot txt, ane upload webset url affiliasi, melalui cpanel hosting, ini urlnya _belajarwordpress.busanamuslim-aul_com Terimakasih
@Muhammad : tetap bisa di Google webmaster kalau blog nya sudah didaftarkan ke Webmaster
maaf mas, Makasih infonya..
saya newbie.. maklum parno kalau tahu ada artikel yang dicekal..
Hehehe,
Tapi dengan menerapkan seperti ini efek lainnya apa mas? Mohon bantuannya.. Terima kasih 🙂
gak ada efek lain mas, ini digunakan untuk robot .txt yang sedang bermasalah,
okelah. Makasih, sudah dua hari nunggu yang dicekal kok tetep ada ya.. harus sabar nunggu tiga nih kayaknya, hehehehe
@Wendy : nah kalau URL yang di cekal parah, pasti muncul keterangan di bagian beranda situsnya,
ane juga banyak yang di cekal, tapi gak sampai parah sich gak masalah
gan untuk webmasternya perlu di perbaiki gak di url blocknya ?
di halaman webmasternya ada yang perlu di perbaiki gak gan ? beritahebohhariini.blogspot.xxx thanks
@Indra : kalau gak ada kerusakan ya gak perlu di perbaiki gan,
Om daniel help help, domain saya sebelumnya dicekal robots.txt dan saya perbaiki di webmaster dan sukses tapi digoogle masih terbaca robots.txt, mohob dibantu ini webnya _bikinvideoprofile_com, kenapa ya om. Bantuanya sangat ditunggu. Thanks
@Dili : kalau URL yang dicekal munculnya gak di Dasboard, maksudnya kalau tidak ada pembertitahuan yang parah, itu tidak masalah.. blog ini juga ada URL yang di cekal,
wah ternyata caranya mudah sekali, kebetulan pada blog saya kena kasus seperti ini kang, terima kasih atas ilmunya… sangat bermanfaat untuk saya. ^^
sudah saya follow kang urutan 362.. jangan lupa follback ya.. ^^
@Faris : mana link blognya gan ?
gan mau nanya…
sumpehh gue gaptek nih
kenapa blog saya pas di cari di google ada bacaannya :
" A description for this result is not available because of this site's robots.txt "
padahal saya udah 3 kali buat blog.. emailnya padahal beda semua..
oh yah blog saya : _designnine.webs_com
pliss saya penting banget
solusinya bagaimana mohon agan bantu
maksih gan, boleh saya bertanya?
kalau boleh lewat apa biar cepet di balas.?
terimaksih sebelumnya
actrandomkindness.blogspot_com
Permission Promotions please
Thanks Greetings Indo Furniture Need Info Contact Us ……
ISTANA MEBEL JEPARA,
FURNITURE JEPARA,
MEBEL JATI JEPARA,
ALMARI MURAH,
BALE BALE MURAH,
BUFFET MURAH,
DIPAN MURAH,
KURSI MURAH
MEJA MURAH,
haduh..punyaku juga buanyak ternyata,padahal udah pke tips di atas……………….
__4happyshare.us/
Dulunya blog saya banyak sekali url yg dicekal oleh robot.txt. Tapi sekarang sudah tidak ada lagi.
Kunjungi blog saya ya 20 teknik seo terbaru blog
cara di atas apakah berlaku untuk semua platform atau hanya untuk blogspot?
mas kok mllh nambah ya url yng dicekal….kash solusiny mas
wahhh makasih postingannya om 😀
Sangat membantu sob saya juga kena 99 yang terblokir… smg sukses lah dengan ini.
kunjungan perkenalan sekaligus ajakan untuk follow followan dan tukar link sob
pusatrik.blogspot_com
masih bingung mas penganturannya…
DomainLagu
mas, saya sudah melakukan hal diatas, namun URL yang di cekal setiap x saya membuat artikel baru, malah bertambah URL yang dicekal, brapa lamakah menunggu URL yang dicekal bisa pulih?
Coba Matikan atau Non Aktifkan robot.txt dari mengaturan – blogger –> setelan —> Preferensi Penleusuran —> robots.txt khusus. pada pilihan "Aktifkan konten robots.txt khusus?" centang TIDAK, dan bersabarlah menunggu 3 hari samapai 1 minggu, karena google juga butuh waktu untuk Crawling… salam
thanks,,artikelnya membantu
thank mas… di webmaster saya ada 90 lebih url yang di cekal,,
Hallo Danforblog.
di atas ada komen agan yang menyebutkan bahwa “cara ini sudah tidak berlaku lagi”. maksudnya gmn? apakah perlu untuk mengubah ‘robot’ standar blogger dengan ‘robot.txt’ yang ada di artikel ini?
thx
Bukan “cara ini sudah tidak berlaku lagi” tetapi “cara ini sudah tidak ampuh lagi”. Itu mungkin karena perubahan algoritma google yang semakin ketat. Namun masih layak di coba.
Q anda ————————–
apakah perlu untuk mengubah ‘robot’ standar blogger dengan ‘robot.txt’ yang ada di artikel ini?
————————————
Nggak perlu, kalau blog anda tidak memiliki masalah.. seperti diatas
Saya suda coba cara di atas, suda hampir 1 minggu kok artikel saya yg di cekal robot belum berkurang ya gan, mohon pencerahan nya.
__jasalandscape_com/?m=1
makasih gan saya sudah coba mudah2an bisa sembuh lgi blog saya
ini digunakan untuk wordpress aja apa blogger?
Keren bgt ni …
Makasih infonya mas pas banget saya lagi butuh…
Oke Makasih , saya udah praktikin di webmaster saya
Terima Kasih untuk ilmunya. Maklum saya newbie disini lagi coba-coba buat web sendiri. Sangat bermanfaat, tinggal tunggu hasilnya.
https://mitsubishi-coltdiesel-fuso-indonesia.blogspot.com/
sangat bermanfaat sekali, terimakasih atas artikelnya
jangan lupa berkunjung di blog saya gan kicaumaster.info
Kode memang harus sepeti diatas.. atau menurut sitemap blog kita gan… ?