Was ist ein Robot?

Robots sind Computerprogramme, die ständig auf der Suche nach neuen Internetseiten und Informationen sind. Ein Robot analysiert die Webseiten, wodurch sie von Suchmaschinen in ihren Ergebnissen aufgenommen werden können. Suchmaschinen sind ein unverzichtbarer Teil des Internets geworden. Ohne Google, Bing & Co. wäre das Internetsurfen deutlich schwieriger.

Damit Suchmaschinen Internetseiten in ihre Suchergebnisse mit aufnehmen, müssen diese zuerst auf den Index der Suchmaschine gesetzt werden. Es wäre sonst sehr aufwendig und zeitintensiv, das gesamte Internet bei einer Suchanfrage zu durchsuchen. Zu diesem Zweck gibt es die Robots. Das heißt also, dass Suchmaschinen auf eigene Datenbanken zurückgreifen, die bereits im Vorfeld durch die Programme generiert werden. Andere Bezeichnungen für Robots sind Bots, Spider, Crawler oder auch Webcrawler.

Kostenfreie Online Marketing Beratung

Steigern Sie Ihre Reichweite und werden Sie sichtbar für Ihre Kunden!

Welche Aufgaben hat ein Robot?

Damit ein Bot weiß, wonach er genau suchen muss, wird er zuerst entsprechend programmiert. Dabei können verschiedene Parameter eingestellt werden, um die Indexierung von Webseiten zu verbessern. Dadurch können die Programmierer kontrollieren, wie genau der Robot funktioniert, nach welchen Seiten er sucht und ob er vielleicht auch weitere Verlinkungen nutzt, um noch mehr Seiten im Internet durchsuchen zu können.

Doch auch darüber hinaus haben Bots wichtige Aufgaben. Es gibt unterschiedliche Robot-Typen:

  • In der Webanalyse werden sie genutzt, um Daten über Internetseiten zu erheben. So können Suchmaschinen einschätzen, wie beliebt bestimmte Internetseiten sind und sie in den Ergebnissen höher platzieren, damit User sie schneller finden können.
  • Für Nachrichtenagenturen sind Bots ebenfalls sehr nützlich, denn sie können das Internet nach neuen Informationen zu bestimmten Themen durchsuchen.
  • Robots erfüllen ebenso wichtige Aufgaben bei Preisvergleichen im Internet. Sie können die Preise von Produkten im Internet suchen und so Benutzern einen Überblick über die verschiedenen Preise zeigen.
  • Auch im Bereich des Data Mining werden Bots eingesetzt, da sie das Internet mit den richtigen Einstellungen sehr effektiv z. B. nach E-Mail-Adressen oder Telefonnummern durchsuchen können.

Warum sind Robots wichtig?

Betreiber einer Website möchten, dass ihre Internetseiten am besten ganz oben bei den Suchergebnissen angezeigt werden. Dabei spielen Robots eine wichtige Rolle. Je einfacher und unkomplizierter ein Bot eine Website analysieren kann, desto höher sind die Chancen, dass sie in den Suchergebnissen ganz vorne zu finden ist. Dies führt dann zu mehr Traffic, weil mehr Menschen die Seite finden können.

Mehr über Webanalyse lernen!

Nehmen Sie an unseren Webinaren teil oder sehen Sie sich eine Aufzeichnung an.

Wie kann man Robots blockieren?

Nicht immer möchte ein Betreiber einer Internetseite, dass sie erfasst und indexiert wird. Gerade Bots, die hauptsächlich Data Mining betreiben, können als störend empfunden werden. Es gibt verschiedene Möglichkeiten, Robots zu blockieren. Durch die Robots.txt-Datei können sie davon abgehalten werden, Zugriff auf eine Internetseite zu erlangen. Diese ist im Stammverzeichnis der Internetseite zu finden. Um zu verhindern, dass eine Seite trotzdem in den Suchmaschinenindex gelangt, nutzt man in den Meta Tags den Wert „noindex“ oder den Canonical Tag.

Zurück zum Glossar