Views: Exposed filter und Google-Suchbot

am 24.10.2014 - 09:37 Uhr in
Hallo,
folgendes Problem:
Ich habe von meinem Provider soeben die Mitteilung erhalten, dass die meine Seite durch massive Aufrufe der "Suchfunktion" durch den Google-Suchbot den Server lahmlegen würde. Aus diesem Grunde wurde der Bot temporär (per .htaccess) vom Provider gesperrt.
Nun habe ich die Drupal-Suche auf meiner Seite überhaupt nicht aktiviert. Ich benutze aber einige exposed filters auf der Hauptseite und auf einigen Unterseiten. Deshalb gehe ich davon aus, dass die Überlastung dadurch zustande kommt.
Nun meine Frage: Ist es möglich (falls ja, wie?) dem Google-Suchbot mitzuteilen, dass er diese filter nicht beachten soll? Der derzeitige "Totalausschluss" meiner Seite von der Indexierung sollte nicht die dauerhafte Lösung bleiben.
Vielen Dank im Voraus für Eure Hilfe!
- Anmelden oder Registrieren um Kommentare zu schreiben
Ja - das ist möglich. Das
am 24.10.2014 - 11:47 Uhr
Ja - das ist möglich. Das kann man sehr gut über die Google-Webmaster-Tools einstellen. Dort kannst Du unter "Crawling -> URL-Parameter" dem Googlebit mitteilen was er spidern soll und was nicht. Es ist z.B. möglich die Parameter der Exposed-Filter komplett auszuschließen etc.
Allerdings macht man das eigentlich nur um Duplicate-Content auszuschließen bzw. zu verringern .... dass ein Googlebot eine Webseite "lahmlegt" habe ich noch nie gehört da die Google-Boys genau darauf achtgeben und der Spider immer genügend Zeit zwischen zwei Requests lässt. Der Bot erkennt es sogar, wenn seine Zugriffe den Server zu stark belasten und lässt (bis zum nächsten Reguest) dann noch mehr Zeit verstreichen.
Daher bezweifle ich die Aussage Deines Providers (oder ich habe sie falsch verstanden) oder Dein Provider hat so viele Hosting-Pakete auf einem Server dass die Serverressourcen nicht mehr ausreichen.
Lies Dich zu den URL-Parametern vorher gut ein (bevor Du Änderungen vornimmst) denn man kann da auch viel falsch machen.