Google ist böse aber toll
Geschrieben von Björn | Abgelegt in Allgemein
Das Google böse ist, ist nun wirklich kein Geheimnis mehr. Das hat sich soweit rumgesprochen, dass ich irgendwo sogar schon mal den Claim von Google gesehen habe "We're not evil!"Oder so ähnlich. Leider hab ich den Beweis verloren, vielleicht war das auch ein Fake. Auf jeden fall habe ich die letzten beiden Tage etwas mit den Google Webmaster Tools herumgespielt. Hier kann man sehen wie die eigene Website von Google gesehen wird. Dadurch konnte ich sehr bequem und effizient eine robots.txt schreiben, in denen ich unerwünschte Seiten für Webcrawler gesperrt habe.Als nächstes habe ich eine Sitemap angelegt, bzw. YWAN dahingehend erweitert, dass es automatisch eine solche Sitemap aus dem Content in der Datenbank erzeugt. Mal sehen ob das eine Verbesserung bringt. Es hat aber wenigstens Spaß gemacht sich mal mit dem Thema auseinander zu setzen.
Und last but not least zeigt Google eine Liste mit Fehlern, die beim crawlen der Seite aufgetreten sind. Alle Fehler sind "404 – Seite nicht gefunden"-Meldungen. Der Großteil davon existiert noch, nur seit der Migration residieren die Seiten unter einer anderen URL. Logischerweise hat sich nur die Struktur der Links geändert; der Inhalt ist eigentlich der selbe geblieben. So konnte ich recht schnell einige wenige RewriteRules schreiben, die mit einem Status 301 anzeigen, dass sich der Inhalt nun unter einer anderen URL finden lässt. Bin mal gespannt, wie lange es dauert, bis Google dies in seinen Index aufgenommen hat. Andere Suchmaschinen werden das dann wohl genauso machen. Davon gehe ich jeden falls aus und mache mir deswegen nicht die Mühe, das irgendwo anders nach zu verfolgen.
Update: Das Bild in diesem Beitrag ist übrigens rekursiv 
Tags: Blog
Eigenen Senf dazu geben
-
Flickr
