Crawler

/Crawler

Crawler, die das Internet durchsuchen und ihre Ergebnisse analysieren, werden auch Spider oder Searchbot genannt. Neben der Suchfunktion können Webcrawler auch Web.Feeds und weitere Informationen sammeln. Crawler, die auf das Sammeln von E-Mail-Adressen ausgerichtet sind, heißen Harvester.

Der erste Crawler wurde 1993 entwickelt, um das Wachstum des Internets zu messen. Bereits ein Jahr später entstand mit WebCrawler die erste frei zugängliche Suchmaschine. Heutzutage existiert eine Vielzahl von Crawlern.

Crawler orientieren sich an Hyperlinks. So gelangen sie von einer URL zur nächsten. Die einzelnen Adressen werden dabei gespeichert und besucht. In dieser Herangehensweise liegt auch das Problem der Crawler, denn ein großer Bereich des Internets kann nicht von ihnen erfasst werden, da die Inhalte nur über Suchmasken und Portale mit Zugangsbeschränkung erreichbar sind.

Zurück zum Glossar

 

Crawler
Beitrag bewerten

By | 2015-01-12T16:47:53+00:00 12.01.2015|0 Kommentare

About the Author:

Alexa Domachowski
Alexa ist für das Content Management bei Heise RegioConcept zuständig und sorgt dafür, dass der Blog regelmäßig mit Leben gefüllt wird. Zuvor studierte sie „Internationales Informationsmanagement – Informationswissenschaft“ (M.A.) an der Universität Hildesheim. Neben der kreativen Textproduktion gehört alles rund um das Thema Social Media Marketing zu ihren Aufgaben.

Hinterlassen Sie einen Kommentar