Enligt Sebastians-Pamphlets blogg så har Google börjat att känna igen experimentella syntaxer i robots.txt filen. En sådan experimentell syntax är Noindex. Har man t.ex. en rad som ser ut enligt föjlande så bör man se upp:
Noindex: /
Vad kan hända? Om du har en robots.txt fil så se till att validera denna snarast så att inga problem uppstår. I exemplet ovan så innebär det att man kan få hela webbplatsen bortplockad från Googles index.
Du kan validera robots.txt filerna i Google Webmaster Tools avdelning.
Använd också de syntaxer som vi vet fungerar problemfritt såsom Allow, Disallow och Sitemap direktiven för Googlebot i robots.txt filen.
