Crawler, die das Internet durchsuchen und ihre Ergebnisse analysieren, werden auch Spider oder Searchbot genannt. Neben der Suchfunktion können Webcrawler auch Web.Feeds und weitere Informationen sammeln. Crawler, die auf das Sammeln von E-Mail-Adressen ausgerichtet sind, heißen Harvester.

Der erste Crawler wurde 1993 entwickelt, um das Wachstum des Internets zu messen. Bereits ein Jahr später entstand mit WebCrawler die erste frei zugängliche Suchmaschine. Heutzutage existiert eine Vielzahl von Crawlern.

Crawler orientieren sich an Hyperlinks. So gelangen sie von einer URL zur nächsten. Die einzelnen Adressen werden dabei gespeichert und besucht. In dieser Herangehensweise liegt auch das Problem der Crawler, denn ein großer Bereich des Internets kann nicht von ihnen erfasst werden, da die Inhalte nur über Suchmasken und Portale mit Zugangsbeschränkung erreichbar sind.

Zurück zum Glossar

 

Beitrag bewerten