Seite wählen

Ein Crawler ist eine Botart, die im Web beispielsweise Informationen von Websites, E-Mail-Adressen oder RSS-Feeds sammelt. Der Crawler kategorisiert und wertet diese Informationen aus. Neben Suchmaschinen sind Crawler auch bei Nachrichtendiensten, Preisvergleichsportalen oder für Webanalyse und Data Mining beliebt. Mit dem Myra Bot Management können Anfragen aggressiver Crawler verwaltet bzw. blockiert werden.

Diesen Artikel teilen