Die Robots.txt und ein fataler Fehler

Eine der Standards im Internet ist die robots.txt welches zu jedem Webprojekt gehört. Hier besteht die Möglichkeit zu steuern welcher Such Robot was darf. Mit der robot.txt zeigen wir welche Projektverzeichnisse ausgelesen...

Weiterlesen