Suchmaschinen crawlen die komplette Webseite, wenn keine robots.txt-Datei erstellt wurde. Wer nicht will, dass bestimmte Seiten einer Website gecrawlt werden, kann das gezielt verhindern. Dazu muss sich die Datei im Hauptverzeichnis der Webseite befinden und den Namen „robots.txt“ tragen. Bei der Erstellung der Datei ist der robots.txt-Generator der Google Webmaster Tools hilfreich. Falls Subdomains verwendet werden, von der bestimmte Seiten gecrawlt werden sollen, muss für die Subdomain eine...