Robots.txt
Op deze pagina:
Het robots.txt bestand plaats je in de www directory om aan te geven in hoeverre zoekmachines je website mogen indexeren. Dus www.jedomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Het niet toestaan aan zoekmachines is geen garantie dat pagina's niet in zoekresultaten zullen verschijnen, daarvoor kan je
<meta name="robots" content="noindex" />
als metatag gebruiken.
Het bestand robots.txt wordt wel eens verward met de metatags robots. Deze twee horen wel samen gebruikt te worden.
Metatags mag je op alle pagina’s plaatsen, dus niet alleen op de eerste index. Zo kan je er voor zorgen dat iedere pagina zijn eigen relevante tags krijgt, met trefwoorden en begrippen die betrekking hebben op de inhoud van die ene pagina.
Een robots.txt bestand zou er zo uit kunnen zien:
User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /pics/
Disallow: /klanten/
Wil je helemaal geen zoekmachine spiders op je website, dan gebruik je:
User-agent: *
Disallow: /
Soms verzoeken zoekmachines om in dit bestand een regel toe te voegen.Die ziet er dan uit als:
Allow: spider-x
Let op dat je robots.txt met een 's' schrijft (meervoud). Een robot.txt zal niet worden gezien door de zoekmachines.
Belangrijk is dat er geen lege regels in het bestand mogen staan.
Let ook op het verschil tussen de / aan het einde van een regel.
Disallow: /cgi-bin
geeft aan dat het de hele folder betreft
Disallow: /setup/
geeft aan dat het alleen om de index (index.htm of index.php) gaat in deze map.
Je kan de robots.txt ook voorzien van het juiste pad naar de XML-sitemap. Een robots.txt bestand ziet er dan zo uit:
User-agent: *
Disallow: /setup/
Disallow: /cgi-bin
Disallow: /images/
Disallow: /pics/
Disallow: /klanten/
Sitemap: http://www.jedomeinnaam.nl/sitemap.xml
Google heeft een handige pagina over Een robots.txt-bestand maken.
Het einde van een URL aangeven met $
Gebruik een dollar teken ($) aan het einde van het pad om het einde van een URL aan te geven.
Voorbeeld
User-agent: *
Disallow: /*.php$
Het voorbeeld hierboven verbiedt alle zoekmachines toegang tot URLs die eindigen op .php.