Cara Mengaktifkan Robot.txt Dan Setting Robot Header Tags pada blog





Memang posting ini sudah pernah saya terbitkan, tetapi saya terbitkan lagi sekarang karena telah saya update, yaitu dengan menambahkan setting robot header tags. Kalo ada yang belum ngerti apa sih robot.txt itu ? baca selengkapnya dibawah ini.

The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita lho.

Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita.

Kalo belum mengerti juga, anda dapat mendaftarkan blog anda di google websmaster disini. Lalu liat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini.

Cara Mengaktifkan Dan Setting Robot.txt:

1.  Log in ke blogger dengan akun blogger anda.
2.  Klik setelan > Preferensi penelusuran / Search preferences.



3.  Pada tab perayap dan pengindeksan pilih robot.txt.




4.  Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *

Disallow: /search
Allow: /

Sitemap: http://ujangyoyo.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti url http://ujangyoyo.blogspot.com dengan url blog anda.

Keterangan:

  • Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
  • Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
  • Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
  • Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
5.  Klik simpan perubahan.

Cara setting Robot Header Tags

1. Masih di menu setting Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih yes
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini





5. Save changes

Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari.


Last Words

Jadi kesimpulannya, penggunanan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita. Itu artinya akan bagus juga untuk pemasukan traffik bagi blog kita. Sekian post tentang Cara Mengaktifkan Robot.txt Dan SettingRobot Header Tags pada blogJangan lupa membaca post saya yang lainnya dengan membaca DAFTAR ISI. Maaf bila ada salah-salah kata dan semoga tulisan ini dapat bermanfaat bagi anda :)






Artikel Menarik Lainnya :



271 comments

«Oldest   ‹Older   201 – 271 of 271   Newer›   Newest»
avatar
19 March, 2016

MAKASIH GAN INFONYA BERMANFAAT BANGET

BalasHapus
avatar
24 March, 2016

Makasih Informasinya
Silahkan Bertamu Ke Blog Saya:http://aliefafdillah.blogspot.co.id/

BalasHapus
avatar
05 April, 2016

numpang nanya mastah, bagaimana setting robot.txt di platform selain blogger seperti Tumblr, Bravesite, Jimdo, Yola atau Webnode, mohon pencerahan suhu

BalasHapus
avatar
11 April, 2016

Mantap gan sangat membantu, terima kasih banyak infonya :)
http://arnida-herbal.blogspot.co.id/

BalasHapus
avatar
12 April, 2016

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://nama.blogspot.com/feeds/posts/default?orderby=UPDATED

ini yang diganti & perlu diisi http://nama blog sendiri
itu aja kan mas ?
atau ada yang lain yang harus diisi ?

Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

apa yang harus diisi setelah tanda itu mas ?
maaf ane newbe mas ,butuh pencerahannya,trima kasih

BalasHapus
avatar
26 April, 2016

thanks
kapanjackpot.blogspot.com

BalasHapus
avatar
16 May, 2016

thank's mas bro,,, nice post,,i like,,, ini membantu bnget buat saya yang nubi,,,,
visit me mas bro ,, priadyheri.blogspot.com ,
thank's....

BalasHapus
avatar
17 May, 2016

Nice info gan ... semoga blog ane SEO gan !! Kunbal gan ~!! casteloteamls.blogspot.com

BalasHapus
avatar
10 June, 2016

https://lucolabs.blogspot.co.id/

BalasHapus
avatar
20 June, 2016

very nice blog.Webmasters create a robots.txt file to instruct search engine robots to crawl and index pages that are a part of a website.robots txt checker

BalasHapus
avatar
23 June, 2016

nice info...thanks sob

BalasHapus
avatar
07 July, 2016

terima kasih gan ... keren ... coba ah

BalasHapus
avatar
26 July, 2016

Mantaf Gan.....

BalasHapus
avatar
01 August, 2016

thanks info, sekedar blogwalking ahmdjazuli.blogspot.com hihi

BalasHapus
avatar
07 August, 2016

tq infonya gan mampir juga http://inorakitchenset.blogspot.com

BalasHapus
avatar
12 August, 2016

BEST RECOMMENDATION:

PLAY AND WIN WITH; SAHABATQQ
PLAY AND WIN WITH; LOTTO03
PLAY AND WIN WITH; MEJAQQ
PLAY AND WIN WITH; SAHABAT KARTU
PLAY AND WIN WITH; SAHABAT DOMINO
GET INFORMATION; POKERVQQ
GET INFORMATION; WALTPOKER
GET INFORMATION; SENANGPOKER
GET INFORMATION; AREADOMINO
GET INFORMATION; POKERMAS99
GET INFORMATION; RANTAIQQ
GET INFORMATION; POKERPELANGI
GET INFORMATION; SARANG188
GET INFORMATION; ONEBETQQ
GET INFORMATION; RAKSASAPOKER
GET INFORMATION; VIPBANDARQ
GET INFORMATION; 6DEWA
GET INFORMATION; DEWAPOKERQQ
GET INFORMATION; SARANAPOKER
GET INFORMATION; RAJADOMINO

BalasHapus
avatar
15 August, 2016

Thanks gan infonya,
kunjungi juga wp saya untuk info software pajak https://pajakonlineweb.wordpress.com/

BalasHapus
avatar
15 August, 2016

sudah sya seting seperti di atas url saya kok malah kena cekal semua ya gan...ada solusi lain
ini tempat belajar saya

BalasHapus
avatar
26 August, 2016

terima kasih untuk admin infosakucom atas artikel diatas. saya sangat bersyukur adanya tutorialnya sehingga bisa mempraktekkan dengan leluasa.

BalasHapus
avatar
24 September, 2016

thank gan,,
http://neracasolusi.blogspot.com

BalasHapus
avatar
06 October, 2016

selamat pagi gan.
mau tanya. kalau untuk wordpress gimana ?
www.obatnusantara.com

BalasHapus
This comment has been removed by the author.
avatar
29 November, 2016

kalo misalnya robot txt nya gak kita aktifin,berpegaruh gak sama blog kita

BalasHapus
avatar
29 November, 2016

kalo misalnya robot txt nya gak kita aktifin,berpegaruh gak sama blog kita

BalasHapus
avatar
13 December, 2016

ntaps boz

BalasHapus
avatar
Anonymous
28 December, 2016

makasih infonya thank ya sob jangan lupa kunjung balik putrablerong.blogspot.com

BalasHapus
avatar
07 January, 2017

gan ijin icip... :)

BalasHapus
avatar
13 January, 2017

cobain deh UG Library infonya lengkap

BalasHapus
avatar
21 February, 2017

mas selain larangan untuk label, Kira2 apa lagi yang harus di Dissallow kan pada Blog yang tidak penting?


kunjungi saya juga yaa kawan... https://chaklyraflesia.blogspot.com

BalasHapus
avatar
23 February, 2017

mantaps
thanks bro

by : www.feryandriansyah.com

BalasHapus
avatar
27 February, 2017

Terimakasi Gan penyampaianya jelas akan saya terapkan di web saya
▶https://mudahrizki.blogspot.com

BalasHapus
avatar
07 March, 2017

terima kasih kak artikel nya.. skrg jadi bisa setting robot.txt
jgn lupa berita olahraga ligaemas365.blogspot.com

BalasHapus
avatar
16 March, 2017

tadinya bingung apa.itu robot txt.. thanks bro

www.annisbelajar.blogspot.com

BalasHapus
avatar
02 April, 2017

selama ini berpusing pusing akhirnya bisa seo juga dengan robots.txt dari mas yoyo,. Tararengkiw,.. I love you

BalasHapus
avatar
avatar
14 May, 2017

kunjung balik gan https://kokikuliner.blogspot.com

BalasHapus
avatar
19 May, 2017

Kang, itu kenapa arsip ga di centang noarchivenya?

BalasHapus
avatar
03 June, 2017

rerima kasih, ini sangat membantu.

BalasHapus
avatar
07 June, 2017

masih belum ngerti..
sukses terus buat admin.

BalasHapus
avatar
24 June, 2017

mantap gan
http://gamedlay.blogspot.com/

BalasHapus
avatar
27 July, 2017

matur suwun infonya gan

BalasHapus
avatar
28 July, 2017

Jadi intinya robots itu sangat berpengaruh ya?

BalasHapus
This comment has been removed by the author.
This comment has been removed by the author.
avatar
15 August, 2017

Makasih banyak atas informasinya gan,,! Di harapkan kunjungan baliknya ya..! Http://mediasoftgame.com

BalasHapus
avatar
16 August, 2017

Thanks gan, info yang bagus.

BalasHapus
avatar
Jo
02 September, 2017

Kok ane jadi pusing ya? :3
Maklum newbie.

BalasHapus
avatar
06 September, 2017

LIVECASINO338 HOT GAMES :
? BACCARAT ? ROULETTE ? SIC BO ? DRAGON TIGER ? SLOT GAME ?
Minimal deposit 25.000,- sudah bisa bermain disemua jenis game
? Register/Pendaftaran : http://livecasino3381.pkr69.com/

Bonus Rollingan 0.8%
Bonus Referral 3% [SEUMUR HIDUP!]
Proses Deposit dan WD cepat hanya 1 menit!

Contact Us :
BBM : 2AD88032
WA : +855965922558
YM : cs_livecasino338

BalasHapus
avatar
06 September, 2017

LIVECASINO338 HOT GAMES :
? BACCARAT ? ROULETTE ? SIC BO ? DRAGON TIGER ? SLOT GAME ?
Minimal deposit 25.000,- sudah bisa bermain disemua jenis game
? Register/Pendaftaran : http://livecasino3381.pkr69.com/

Bonus Rollingan 0.8%
Bonus Referral 3% [SEUMUR HIDUP!]
Proses Deposit dan WD cepat hanya 1 menit!

Contact Us :
BBM : 2AD88032
WA : +855965922558
YM : cs_livecasino338

BalasHapus
avatar
19 September, 2017

Liat sana sini cara setting Custom roboot header tag nya berbeda-beda. jadi siapa yg benar nih?
Siapa yg benar dan siapa yg penipu?

BalasHapus
avatar
14 October, 2017

jika melakukan sesuai prosedur, apakah aman dan membantu ?

BalasHapus
avatar
21 October, 2017

Terima Kasih gan Informasi nya sangat membantu
Parantimondok.blogspot.com

BalasHapus
avatar
28 October, 2017

Alhamdulillah wasyukurillah,trimakasih kaka admin yang telah menyebar ilmu nya di sini. akhirnya saya dapat juga langkah langkah dalam membuat blog termasuk pentingnya robot t.x.t

BalasHapus
avatar
04 November, 2017

keren om, makasih

apa blog saya salah sepi amat nih calonpejabat.ga

BalasHapus
This comment has been removed by the author.
This comment has been removed by the author.
avatar
04 November, 2017

thanks ilmunya, saya baru bljr ngeblog nih ..
saling kunjung yuk http://cipunkshare.blogspot.co.id/

BalasHapus
avatar
06 November, 2017

ikutan terapin gan, thanks infonya.

BalasHapus
avatar
12 November, 2017

gtu ya gan apa sudah benar ya blog saya socodia.blogspot.com

BalasHapus
avatar
18 November, 2017

Terima kasih om boss atas keterangan postingan yang sekiranya berguna bagi blog saya.. Mampir gan agar lebih akrab.

BalasHapus
avatar
15 January, 2018

maksih gan
mumpung balik sob
http://blogteamku.blogspot.co.id/

BalasHapus
avatar
Anonymous
23 January, 2018

kalau untuk versi amp terbaru sekarang gimana ya gan...?

BalasHapus
avatar
04 February, 2018

kira-kira aman atau tidak ya? dan dapat berpengaruh kepada SEO tidak?

BalasHapus
avatar
18 February, 2018

thanks gan,,, postinganya sangat bermanfaat untuk para pemula seperti saya... Cara Membesarkan Alat Vital Dengan Obat Klg 100% Pembesar Penis Herbal Asli usa Cara Cepat Pemanjang Alat Vital Pria Aman Tanpa Efek Samping Hasil Permanen,bergaransi Uang Kembali, Jual Obat Pembesar Penis dengan harga grosir Beli Sekarang Hanya Di Authorized Distributor www.Obatklgpill.com ,Buruan…Dapatkan Promo nya.!

BalasHapus
This comment has been removed by the author.
avatar
06 March, 2018

thanks gan artikelnya sangat bermanfaat
lintashari.blogspot.com

BalasHapus
avatar
24 March, 2018

jazkallah khoeron kasiron min , saya jadi ngebikin repot admin nih , secara bloh saya di gangguin sama robot , ga ke index sama sekali . saya akan coba wejangannya min , semoga ramai visitnya min ,

BalasHapus
avatar
08 April, 2018

Bukannya Disallow: / ya?

BalasHapus
avatar
22 June, 2018

Mantap gan thnks ilmu nya...

Jangan lupa mampir ke blog ane kira aja sharing nambah banbah ilmu :)

Https://www.ozzygaming.pw

Https://www.ozzykhuya.pw

BalasHapus
avatar
16 July, 2018

Mantap gan artikel bermanfaat jangan lupa kunjungi balik ke Sharing web id

BalasHapus
avatar
14 September, 2018

Terimakasih atas informasinya gan saya orang baru di sini baru belajar ngeblog.http://domain Manusia sehat.blogspot.com

BalasHapus
«Oldest   ‹Older   201 – 271 of 271   Newer›   Newest»