Yustian Blog » search engine http://yustian.web.id Web And Blog Designer Fri, 07 Oct 2011 16:44:11 +0000 http://wordpress.org/?v=2.8.4 en hourly 1 SEO blog wordpress dengan robots.txt http://yustian.web.id/website/seo-engine-optimization/seo-blog-wordpress-dengan-robotstxt/ http://yustian.web.id/website/seo-engine-optimization/seo-blog-wordpress-dengan-robotstxt/#comments Sun, 14 Dec 2008 16:18:13 +0000 Yustian M http://yustian.web.id/?p=497 Apa itu file robots.txt dan apa kegunaanya? File ini dipergunakan untuk menginstruksikan para robot mesin pencari untuk dapat menjelajahi/crawled dan mengindex suatu halaman di website kita. Kebanyakan website dan blog mempunyai file dan folder yang tidak relevan untuk mesin pencari (seperti gambar atau file admin) sehingga membuat sebuah file robots.txt dapat benar-benar akan membantu blog kamu berada pada ranking tertinggi di Search Engines (dari Google, Yahoo, MSN dan sebagainya).

File ini sangat mudah untuk dibuat hanya dengan notepad kita sudah dapat memuatnya lalu menguploadnya ke website/blog kamu. Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu. Berikut contoh lengkap dari robots.txt untuk SEO :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://yustian.web.id/sitemap.xml

Atau kamu dapat mendownloadnya melalui Yustian Blog. Nah sekarang tinggal upload ke root direktori blog wordpress kamu dan selesai. Sekiranya informasi ini dapat membantu.

]]> http://yustian.web.id/website/seo-engine-optimization/seo-blog-wordpress-dengan-robotstxt/feed/ 29