Ihre neue Website ist endlich fertig. Penibel haben Sie auf eine strukturierte Gestaltung und die richtigen Keywords geachtet. Und Sie haben eine Menge Zeit und Geld in qualitativen Content gesteckt. Doch Besucher? Fehlanzeige! Auch nach Wochen herrscht noch Ebbe auf Ihrer Homepage. Bei der Suche im Internet stellen Sie fest, dass Sie in den Google-Suchergebnissen bzw. SERPs nicht erscheinen – Ihre Seite wird einfach nicht gefunden. Google kennt Ihre Website offenbar gar nicht. Und nun?
Schnellcheck: Wurde meine Website bereits indexiert?
Mit einem einfachen Check finden Sie heraus, ob Google Ihre Webseiten tatsächlich nicht findet. Dazu können Sie in das Suchfeld „site:“ gefolgt von Ihrem Domainnamen eingeben, also etwa „site:heise-regioconcept.de“. Um einzelne Unterseiten zu checken, verwenden Sie statt der Domain Ihre vollständige URL.
Erhalten Sie einen oder mehrere Treffer, dann ist Ihre Website im Suchindex von Google enthalten. Sie wird aber möglicherweise in den Suchergebnissen schlecht gerankt. In diesem Fall überprüfen Sie Ihre SEO-Strategie. Wichtige Anhaltspunkte erhalten Sie zum Beispiel über den kostenlosen Heise DigitalCheck. Mögliche Fehlerquellen für ein schlechtes Ranking können Sie auch mit dem URL-Prüftool bzw. URL-Inspection-Tool aufdecken.
Ergibt die Suche keine Treffer oder es fehlen wichtige URLs, kommen dafür folgende Gründe in Frage:
Ursache 1: Google kennt Ihre Website noch nicht
Bis der Searchbot eine Webseite gecrawlt und indexiert hat, vergehen im besten Fall wenige Tage. Mitunter kann der Vorgang aber auch einige Wochen dauern. Das liegt daran, dass die Suchmaschine beim Crawlen zunächst bekannten URLs folgt. Je besser neue Webseiten verlinkt sind, desto schneller wird sie fündig und desto präziser lässt sich Ihre Websitestruktur im Suchindex abbilden.
Achten Sie beim Hinzufügen neuer Seiten zu einer bestehenden Homepage darauf, dass diese intern logisch verlinkt sind. Bei neuen Webprojekten können Sie durch die gezielte Platzierung von Backlinks auf vertrauenswürdige Seiten den Beginn des Crawlens beschleunigen. Auch mithilfe des URL-Prüftools der Google Search Console können Sie die Suchmaschine auf neu zu indexierende Domains und URLs aufmerksam machen.
Eine weitere Möglichkeit zum Anschubsen und Sicherstellen einer vollständigen Indexierung ist das Erstellen einer Sitemap. Die Sitemap dient als Inhaltsverzeichnis Ihrer Website. Die Sitemap-Datei im XML-Format können Sie entweder manuell erstellen oder automatisch generieren. Anschließend stellen Sie Google das Dokument über Sitemaps-Bericht oder über die Search Console unter „Index > Sitemap“ zur Verfügung.
Ursache 2: Sie haben Google ausgesperrt
Es gibt mehrere Möglichkeiten, die Suchmaschine daran zu hindern, einzelne Webseiten, Elemente oder sogar ganze Sites zu crawlen oder zu indexieren. Was in vielen Fällen sinnvoll und notwendig ist, kann Ihnen aber auch ein Bein stellen. Nämlich dann, wenn Sie eine der Optionen versehentlich oder falsch anwenden.
robots.txt
In der Textdatei robots.txt lassen sich Anweisungen für Suchmaschinen-Bots hinterlegen. Diese sind zwar für Crawler nicht verpflichtend, werden von Google und anderen Suchmaschinen aber in der Regel berücksichtig.
Legen Sie die Datei robots.txt in den entsprechenden Ordner auf den Webserver. Die Zeilen User-Agent: * und Disallow: / weisen Bots an, ab der aktuellen Ordnerebene nichts zu crawlen. Befindet sich robots.txt mit diesen Zeilen im Root-Verzeichnis Ihrer Website, wird sie überhaupt nicht indexiert. Einfache Lösung: Löschen Sie die Datei.
Falls Sie Teile Ihrer Website tatsächlich auf diesem Weg von der Indexierung aussparen möchten, benennen Sie in robots.txt explizit die jeweiligen Ordner. Eine korrekte und logische Platzierung in den Ordnern auf dem Webserver stellt sicher, dass Sie nicht ungewollt Dateien in Unterordnern aussperren.
.htaccess
Effektiver als mit robots.txt lassen sich Crawler mit .htaccess-Dateien aussperren. Die Einsatzmöglichkeiten ähneln denen von robots.txt. Die Zeilen in der .htaccess-Datei zum Aussperren gängiger Bots sehen so aus:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* – [R=403,L]
Falls vorhanden, entfernen Sie diese Zeilen aus der .htaccess-Datei im Root des Webservers, damit Ihre Website problemlos indexiert werden kann. Legen Sie zum gezielten Blockieren einzelner Ebenen jeweils eigene .htaccess-Dateien in den entsprechenden Ordnern ab. Beachten Sie, dass die Regeln auf die Unterordner vererbt werden.
Meta-Tags
Über Meta-Tags im Seitenkopf lassen sich Anweisungen an Bots von Suchmaschinen weitergeben. Prüfen Sie bei Problemen mit der Indexierung den Code der betreffenden Seiten auf folgende Codezeile – und entfernen Sie diese:
Möglicherweise ist auch nur „noindex“ oder „nofollow“ angegeben. Ersteres teilt dem Bot mit, dass die aktuelle Seite nicht indexiert werden soll; „nofollow“ sagt dem Bot, dass er außerdem keinem der im Dokument enthaltenen Links folgen soll.
Ursache 3: Sie hindern Google am Folgen von Links
Fehlen Teile oder bestimmte Unterseiten Ihrer Website im Suchindex, kommen drei Hauptursachen in Betracht:
Nofollow
Werden nicht alle Ihre Webseiten korrekt indexiert, kann das daran liegen, dass einzelne Links mit dem Attribut rel=“nowfollow“ oder rel=“sponsored“ versehen sind. Solche Attribute werden eingesetzt, um etwa ein Downranking durch das Folgen von bezahlten Links zu unseriösen Quellen oder zu irrelevanten Inhalten zu vermeiden. Entfernen Sie das Attribut bei den Links, denen Google folgen soll.
Canonical-Tag
Damit Google bei Inhalten, die über mehrere URLs zu erreichen sind, die richtige URL indexiert, versehen Sie die übrigen Links zum gleichen Ziel mit dem Attribut rel=“canonical“. Wie beim Nofollow-Attribut folgen Bots den so markierten URLs nicht. Viele Content-Management-Systeme setzen das Canonical-Tag automatisch. Das schützt Ihre Website zwar vor einem Downranking durch doppelte Inhalte (Duplicate Content), kann aber auch ein weiterer Grund für Indexierungsprobleme sein.
Broken Links
Toten Links, also Links, die ins Leere führen, kann der Searchbot nicht folgen. Fehlen einzelne Webseiten im Google-Index, ist ein Linkcheck daher obligatorisch. Werden Sie fündig, reparieren Sie den defekten Verweis. Sie haben Webseiten Ihrer Homepage dauerhaft entfernt? Dann nutzen Sie bei der Weiterleitung auf ein neues Ziel den http-Statuscode „301“. Er sorgt dafür, dass Google den entsprechenden Indexeintrag korrigiert. Besonders wichtig ist diese Maßnahme, wenn Sie eine komplette Website durch eine neue ersetzen.
Ursache 4: Sie missachten Google-Richtlinien
Die Qualitätsrichtlinien beschreiben unerlaubte Verfahren, die zur endgültigen Entfernung einer Website aus dem Index führen können. Dazu zählen beispielsweise die Teilnahme an Linktauschprogrammen, Cloaking (Suchmaschinen-Täuschung), irreführende Weiterleitungen oder automatisch generierte Inhalte. Lassen Sie sich am besten gar nicht erst dazu hinreißen, für Backlinks zu bezahlen oder Links zu Ihrer Website spam-artig im Web zu verteilen. Im besten Fall verschlechtert sich dadurch nur Ihr Ranking.
Auch das „Erstellen von Seiten mit schädlichen Funktionen“ führt zur Löschung aus dem Index. Das gilt auch im Falle von Schadcode und Inhalten wie Malware, Viren und Trojanern, die durch Hacker auf Ihren Seiten eingebracht wurden. Untersuchen Sie alle Seiten Ihrer Homepage auch auf solche Manipulationen, wenn Sie online plötzlich nicht mehr gefunden werden.
Fazit: Optimieren Sie Ihre Seite für Bots!
Es gibt viele Gründe, weshalb eine Webseite in der Google-Suche nicht angezeigt wird oder nur auf den hinteren Plätzen auftaucht. Die gängigsten Fehlerquellen haben wir hier aufgeführt. Halten Sie sich an die Richtlinien für Webmaster, um den Suchmaschinenbots das vollständige Indexieren Ihrer Webseiten zu erleichtern. Falls Sie professionelle Hilfe bei der Suchmaschinenoptimierung benötigen, unterstützen Sie unsere SEO-Experten mit ihrem Know-how dabei, dass Ihre Website in der Google-Suche gefunden wird.
Vielen Dank für den Artikel. Wir haben versucht, uns das ganze Wissen intern anzueignen. Aber da ist wirklich sehr viel Fachwissen nötig und die Zeit und die Disziplin haben wir dazu nicht, wenn wir unsere Hauptaufgaben nicht aus den Augen verlieren wollen. Aus eigener Erfahrung kann ich nur jedem Unternehmen raten, zumindest beratende Leistungen einzuholen.