robots.txt – najlepsza konfiguracja

Nie zlieczę ile to już razy szukałem odpowiednich ustaweiń pliku robots.txt tak aby blokował maksyamalnie wszystko a jadnocześnie nie blokował najważniejszych elementów (postów, kategorii, obrazków). Poniżej przedstawię kilka propozycji zebrane z różnych stron i spróbuję stworzyć idealną jego konfigurację.

Mimo poprawnie skonfigurowanego pliku robots.txt i tak do końca nie uwierze robotowi google i zastosuję dodatkowe zabezpieczenia w postaci przekierowań 301 i „Parametry w URL-ach” w Narzędziach dla Webmasterów Google w celu dodatkowego wykluczenia indexowania.

Używam do tego wtyczki http://wordpress.org/plugins/redirection/, która jak do tąd działa niemal idealnie gdyż portafiła się zapętlać – jeżeli tworzymy i usuwamy wielokrotne przekierowania (jak dla mnie coś w bazie samej wtyczki zostaje i może działać nie stabilnie), dlatego radzę sutawić przekierowania „raz a dobrze”.

Co do samych parametrów w to bazowałem na artykule pod adresem http://blog.performancemedia.pl/seo/ulepszona-obsluga-adresow-url-z-parametrami-w-narzedziach-dla-webmasterow-google, i jak dobrze go zrozumiałem rezultatem moich działeń jest „Żadne adresy URL” czyli zablokwoanei wszytkich 'dziwnych/niepotrzebnych’ url-i typu audyt-seo-online?replytocom=327, wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1

Na poczatku parę wskzuwek z https://support.google.com/webmasters/answer/156449?expand=test1

User-agent: określa robota, którego dotyczy dana reguła
Disallow: adres URL, który chcesz blokować

„/” – oznacza brak dostepu i jest poprzedzany folderem bądz plikiem(ale poniższe dwie liniji zablokują dostęp całkowicie do strony!)
User-agent: * – wpis dotyczy wszytkich robotów (a dla
Disallow: /

Mój obecny plik robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

http://stackoverflow.com/questions/17029811/how-to-set-up-robots-txt-file-for-wordpress

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?

http://www.spiderwebpress.com/wordpress-tutorials/using-a-robots-txt-file-with-wordpress/
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php

oraz wybrane z treści:
Disallow: /20*
Disallow: /archives/
Disallow: /author/
Disallow: /comments/
Disallow: /feed/
Disallow: /images/
Disallow: /tags/
Disallow: /trackback/

i innego użytkownika:
User-agent: *
Allow: /wp-content/uploads/
Disallow: */comments/
Disallow: */feed/
Disallow: */trackback/
Disallow: /*.css$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*?
Disallow: /*?*
Disallow: /20* # Disables date archives starting with the year 2012, 2013, etc
Disallow: /archives/
Disallow: /author/
Disallow: /category/
Disallow: /category/*/*
Disallow: /cgi-bin/
Disallow: /comment-page-
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /date/
Disallow: /feed/
Disallow: /iframes/
Disallow: /login/
Disallow: /page/
Disallow: /recommends/
Disallow: /tag/
Disallow: /tag/*
Disallow: /trackback/
Disallow: /wp-*
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

Disallow: /*.js$
Disallow: /*.css$