Übersicht  »  Webhosting  »  Inhalte
25.06.2022
1

Wie kann ich ausgeschlossene Robots explizit erlauben?

Warum wir bestimmte Bots blockieren

Einige Bots und Crawler werden aus Sicherheitsgründen bei uns standardmäßig blockiert, u.a.

  • aufgrund hohen Ressourcen-Verbrauchs (der zulasten Ihrer Webseite geht)
  • aufgrund Missbrauchs

Selbstverständlich blockieren wir keine der "großen" Crawler (also nicht Google, Bing etc.).

Wie Sie einem bestimmten Bot Zugriff auf Ihre Webseite geben

Wenn Sie bestimmten Bots den Zugriff auf Ihre Webseite gewähren möchten, dann können Sie eine .htaccess-Datei in das Grund-Verzeichnis Ihrer Webseite legen und darin einen oder mehrere Bots erlauben.

Nachfolgend finden Sie dazu beispielhaft eine Syntax (bitte ersetzen Sie darin noch den Namen des Bots NAME_DES_BOTS usw.):

SetEnvIfNoCase User-Agent .*NAME_DES_BOTS.* search_robot
Order Deny,Allow
Deny from All
Allow from env=search_robot

Sie können dabei die Zeile mit SetEnvIfNoCase wiederholen, wenn Sie mehrere Bots erlauben möchten:

SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_1.* search_robot
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_2.* search_robot


Bitte haben Sie Verständnis dafür, dass FAQ-Beiträge nicht rechtlich bindend und somit nicht Vertragsbestandteil sind. Im Zweifelsfall gelten die Regelungen der AGB, der Leistungsbeschreibung(en) sowie der Details zum Produkt auf dieser Webseite. Alle Hinweise der FAQ erfolgen nur als Hilfestellung, ohne Anerkennen einer Rechtspflicht und sind keine Rechtsberatung.

Ihre zuletzt angesehenen Einträge: