SEO blog wordpress dengan robots.txt

Dec

SEO blog wordpress dengan robots.txt

Mon 2008 at 0:18 am by Yustian M

Apa itu file robots.txt dan apa kegunaanya? File ini dipergunakan untuk menginstruksikan para robot mesin pencari untuk dapat menjelajahi/crawled dan mengindex suatu halaman di website kita. Kebanyakan website dan blog mempunyai file dan folder yang tidak relevan untuk mesin pencari (seperti gambar atau file admin) sehingga membuat sebuah file robots.txt dapat benar-benar akan membantu blog kamu berada pada ranking tertinggi di Search Engines (dari Google, Yahoo, MSN dan sebagainya).

File ini sangat mudah untuk dibuat hanya dengan notepad kita sudah dapat memuatnya lalu menguploadnya ke website/blog kamu. Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu. Berikut contoh lengkap dari robots.txt untuk SEO :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://yustian.web.id/sitemap.xml

Atau kamu dapat mendownloadnya melalui Yustian Blog. Nah sekarang tinggal upload ke root direktori blog wordpress kamu dan selesai. Sekiranya informasi ini dapat membantu.

Popularity: 72% [?]

blog, download, googlebot, search engine, seo, tips, upload, Website, Wordpress

This post was written by:

Yustian M - who has written 49 posts on Yustian Blog.

Artikel ini dapat disebar,dimodifikasi,dicopy dan digunakan sebagaimana semestinya. Dengan menyantumkan nama dan referensi asli. Dan bila ingin berlangganan berita dan artikel diblog ini silahkan Subscribe ke RSS Feed Yustian Blog dan Email Subscription Request

Contact the author

21 Comments For This Post

19 Dec 2008 9:42 pm

#60

@del says:

Kebetulan kalau saya menggunakan plugin google sitemap, jadi otomatis dibuatin mas

20 Dec 2008 5:25 am

#63
Yustian M says:
Iya mas memang file robots ini dibuat otomatis oleh google dengan default :
User-agent: *
Disallow:
Sehingga seluruh file dan content yang terdapat di root web server kita digrayangi semua sehingga memungkinkan sang robot dapat menemukan file duplikat kalau ada yang akan membuat web kita dipenalti oleh google

18 Mar 2009 6:15 pm

#366

greencores says:

biar googlebot tiap hari ke blog kita caranya gimana ya? blog saya udah seminggu belum dikunjungi google bot lagi

04 Apr 2009 10:16 am

#404
Yustian M says:
Tambahkan meta tag berikut di HEAD :
<meta name=”revisit-after” content=”1 days”/>

04 Apr 2009 10:15 pm

#418

Nana says:

Blognya bagus banget, kalo boleh transfer ilmunya dong, ya kaya maen-maen di CSS gituh, salam kenal dari orang banten

04 Apr 2009 11:32 pm

#419
Yustian M says:
Sering – sering aja maen-maen di Yustian Blog, Salam kenal dari orang palu

24 May 2009 12:12 am

#518

heru says:

“Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu.”
Maksudnya gimana cak ya…?Cara memastikan tidak di index gimana?herusutomo@yahoo.com
Aku pakai blogspot bisa kagak?