RSS

SEO

Mon 2008 at 0:18 am by Yustian M

Apa itu file robots.txt dan apa kegunaanya? File ini dipergunakan untuk menginstruksikan para robot mesin pencari untuk dapat menjelajahi/crawled dan mengindex suatu halaman di website kita. Kebanyakan website dan blog mempunyai file dan folder yang tidak relevan untuk mesin pencari (seperti gambar atau file admin) sehingga membuat sebuah file robots.txt dapat benar-benar akan membantu blog kamu berada pada ranking tertinggi di Search Engines (dari Google, Yahoo, MSN dan sebagainya).

File ini sangat mudah untuk dibuat hanya dengan notepad kita sudah dapat memuatnya lalu menguploadnya ke website/blog kamu. Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu. Berikut contoh lengkap dari robots.txt untuk SEO :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://yustian.web.id/sitemap.xml

Atau kamu dapat mendownloadnya melalui Yustian Blog. Nah sekarang tinggal upload ke root direktori blog wordpress kamu dan selesai. Sekiranya informasi ini dapat membantu.

, , , , , , , ,

This post was written by:

- who has written 61 posts on Yustian Blog.

Artikel ini dapat disebar,dimodifikasi,dicopy dan digunakan sebagaimana semestinya. Dengan menyantumkan nama dan referensi asli. Dan bila ingin berlangganan berita dan artikel diblog ini silahkan Subscribe ke RSS Feed Yustian Blog dan Email Subscription Request

Contact the author

28 Comments For This Post





  1. 19 Dec 2008 9:42 pm

    #60
    @del says:

    Kebetulan kalau saya menggunakan plugin google sitemap, jadi otomatis dibuatin mas :)





    • 20 Dec 2008 5:25 am

      #63
      Yustian M says:

      Iya mas memang file robots ini dibuat otomatis oleh google dengan default :
      User-agent: *
      Disallow:
      Sehingga seluruh file dan content yang terdapat di root web server kita digrayangi semua :) sehingga memungkinkan sang robot dapat menemukan file duplikat kalau ada :) yang akan membuat web kita dipenalti oleh google =(





  2. 18 Mar 2009 6:15 pm

    #366
    greencores says:

    biar googlebot tiap hari ke blog kita caranya gimana ya? blog saya udah seminggu belum dikunjungi google bot lagi





    • 04 Apr 2009 10:16 am

      #404
      Yustian M says:

      Tambahkan meta tag berikut di HEAD :
      <meta name=”revisit-after” content=”1 days”/>





  3. 04 Apr 2009 10:15 pm

    #418
    Nana says:

    Blognya bagus banget, kalo boleh transfer ilmunya dong, ya kaya maen-maen di CSS gituh, salam kenal dari orang banten





    • 04 Apr 2009 11:32 pm

      #419
      Yustian M says:

      Sering – sering aja maen-maen di Yustian Blog, Salam kenal dari orang palu :)





  4. 24 May 2009 12:12 am

    #518
    heru says:

    “Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu.”
    Maksudnya gimana cak ya…?Cara memastikan tidak di index gimana?herusutomo@yahoo.com
    Aku pakai blogspot bisa kagak?





    • 24 Jun 2009 8:39 am

      #570
      Yustian M says:

      Tambah noindex atau nofollow aja mas pada bagian meta blog anda :)





  5. 02 Jun 2009 11:03 pm

    #536
    rizan says:

    kalo pake all in one SEO sudah terindex google belum ya mas?

    newbie nich..





    • 24 Jun 2009 8:46 am

      #576
      Yustian M says:

      Tanpa itu pun blog anda sudah terindex google :)





  6. 19 Jun 2009 10:28 pm

    #560
    Racoon22 says:

    Wah bener mas, tp kok di blog gw yang selalu di index tuch forumnya ajah,, malah halaman lainnya gag kena index google





  7. 06 Aug 2009 1:48 pm

    #654
    Bungerik says:

    Iya mas…saya sudah pake google sitemap plugin





  8. 14 Aug 2009 4:21 pm

    #665
    Berbagi ilmu | Ebook gratis untuk memudahkan belajar SEO says:

    […] artikel ini di ambil dari sini […]





  9. 19 Aug 2009 6:26 pm

    #666
    kang badot says:

    wah terimakasih penjelasan robot.txt nya, berguna nih…
    templatenya seni banget, cerah lagi…jadi pengen punya blog kaya gini..





  10. 30 Aug 2009 1:37 pm

    #677
    arvandy says:

    Klo konfigurasi robot blogger bagaimana yach mas ??





  11. 11 Sep 2009 8:32 pm

    #695
    masoglek says:

    mangstab om





  12. 28 Sep 2009 1:02 am

    #726
    merawat dan memperbaiki komputer says:

    wooookeeeee,di coba dulu mas……….

    maksih,salam kenal…….





  13. 29 Sep 2009 12:47 am

    #727
    Karaoke Boy says:

    ok…sudah di laksanakan…..86 :dribble:





  14. 26 Oct 2009 3:08 pm

    #766
    reez says:

    thx tutorialnya….





  15. 07 Nov 2009 6:41 am

    #789
    xp wallpaper says:

    mantab….thanks for sharing





  16. 05 Feb 2010 6:48 pm

    #895
    dery says:

    Sip nih,,
    Berguna nih, biar google gak nge-index bagian vital blog..
    Thx





  17. 29 May 2010 12:10 pm

    #1051
    laptopdrivers says:

    akhirnya nemukan juga tutorial ini.





  18. 24 Jun 2010 4:03 am

    #1077
    sasuke_stereobk says:

    Kalo begitu, gimana dengan Robot yang lain mas? misalnya yahoo, bing, technorati dsbg, apa msh bisa masuk???
    :newbie:





  19. 10 Apr 2011 10:53 pm

    #1291
    blog komputerbutut says:

    mantap nee… cocok bgt buat ane yang masih nyubi soal blog

    :8:8:8





  20. 23 Apr 2011 8:32 pm

    #1303
    Click Buy Now says:

    Sepertinya ada rasa takut untuk mencobanya, takut ketahuan. Ntar kena tendang sama google.

    Main-main ke http://www.click-buynow.com ya bro :)





  21. 02 Jun 2011 5:13 pm

    #1335
    yoga says:

    Gan kalo robots.txt bentuknya seperti ini:
    Disallow: /*?*
    Disallow: /*?
    Disallow: /*/$
    Disallow: /*/trackback
    Disallow: /*/feed
    Disallow: /*/comments
    Disallow: /*?*
    Disallow: /*?
    Disallow: /*page/*
    bisa di jelasin gan,maksud disallow tersebut?





  22. 07 Jun 2011 11:28 am

    #1340
    dismanto says:

    Akan aku terapkan biar blog2 ku naik kunjungannya. Thx





  23. 04 Aug 2011 3:22 pm

    #1400
    mas Blue says:

    Blog yang bagus!! Ada pertanyaan nih, pemakaian skrip robot utk blog beradsense google sekarang apa msh efektif dan syah? Thank.

Leave a Reply

:p 8) :lol: =( :8 ;) :(( :o: :[ :) :D :-| :bloody: :cool: :choler: :love: :oups: :aie: :beurk: :canny: :go: :miam: :ueue: :nose: :oh: :oups2: :prud: :yo: :sadd: :bloody2: :cache: :rose: :sure: :dream: :neo: :yes: :sweat: :kiss: :creve: :what: :pff: :hm: :bobo: :ciao: :dribble: :gene: