404 vs. Soft 404-Fehler: Was ist der Unterschied und wie behebt man beide

Jede Seite, die in einem Webbrowser geladen wird, hat einen Antwortcode in den HTTP-Headern, der auf der Webseite selbst sichtbar sein kann oder auch nicht.

Es gibt viele verschiedene Antwortcodes, die ein Server gibt, um den Ladestatus der Seite mitzuteilen; einer der bekanntesten Codes ist der 404-Antwortcode.

Generell zeigt jeder Code zwischen 400 und 499 an, dass die Seite nicht geladen wurde. Der 404-Response-Code ist der einzige, der eine bestimmte Bedeutung hat – nämlich, dass die Seite tatsächlich verschwunden ist und wahrscheinlich nicht so bald wieder erscheint.

Was ist ein Soft-404-Fehler?

Ein Soft-404-Fehler ist kein offizieller Antwortcode, der an einen Webbrowser gesendet wird. Es handelt sich lediglich um eine Kennzeichnung, die Google einer Seite in seinem Index hinzufügt.

Wenn Google Seiten crawlt, teilt es die Ressourcen sorgfältig zu, um sicherzustellen, dass keine Zeit verschwendet wird, indem fehlende Seiten, die nicht indiziert werden müssen, gecrawlt werden.

Es gibt jedoch einige Server, die schlecht konfiguriert sind und deren fehlende Seite einen 200-Code lädt, obwohl sie einen 404-Antwortcode anzeigen sollte. Wenn der unsichtbare HTTP-Header einen 200-Code anzeigt, obwohl auf der Webseite eindeutig angegeben ist, dass die Seite nicht gefunden wurde, kann die Seite indiziert werden, was für Google eine Verschwendung von Ressourcen darstellt.

Um dieses Problem zu bekämpfen, notiert Google die Merkmale von 404-Seiten und versucht zu erkennen, ob die 404-Seite wirklich eine 404-Seite ist. Mit anderen Worten: Google hat gelernt, dass es sich wahrscheinlich um eine echte 404-Seite handelt, wenn sie wie eine 404 aussieht, wie eine 404 riecht und sich wie eine 404 verhält.

Potenziell fälschlicherweise als Soft 404 identifiziert

Es gibt auch Fälle, in denen die Seite nicht wirklich fehlt, aber bestimmte Merkmale haben Google dazu veranlasst, sie als fehlende Seite einzustufen.

Zu diesen Merkmalen gehören eine geringe Menge oder ein Mangel an Inhalt auf der Seite und zu viele ähnliche Seiten auf der Website.

Diese Merkmale ähneln auch den Faktoren, die der Panda-Algorithmus in Angriff nimmt. Das Panda-Update betrachtet dünne und doppelte Inhalte als negative Ranking-Faktoren.

Daher hilft die Behebung dieser Probleme, sowohl Soft-404s als auch Panda-Probleme zu vermeiden.

404-Fehler haben zwei Hauptursachen:

• Ein Fehler im Link, der die Nutzer auf eine Seite leitet, die nicht existiert.
• Ein Link, der zu einer Seite führt, die früher einmal existierte und plötzlich verschwunden ist.

Verknüpfungsfehler

Wenn die Ursache des 404-Fehlers ein Verkettungsfehler ist, müssen Sie nur die Links reparieren.

Der schwierige Teil dieser Aufgabe besteht darin, alle defekten Links auf einer Website zu finden.

Bei großen, komplexen Websites mit Tausenden oder Millionen von Seiten kann dies eine größere Herausforderung sein. In solchen Fällen sind Crawling-Tools sehr hilfreich. Sie können Software wie Xenu, DeepCrawl, Screaming Frog oder Botify verwenden.

Eine Seite, die nicht mehr existiert

Wenn eine Seite nicht mehr existiert, haben Sie zwei Möglichkeiten:

• Wiederherstellen der Seite, wenn sie versehentlich entfernt wurde.
• 301 Sie auf die nächstgelegene verwandte Seite umleiten, wenn sie absichtlich entfernt wurde.

Zunächst müssen Sie alle Verlinkungsfehler auf der Website aufspüren. Ähnlich wie bei der Suche nach allen Verlinkungsfehlern auf einer großen Website können Sie Crawling-Tools verwenden. Crawling-Tools finden jedoch möglicherweise keine verwaisten Seiten, d. h. Seiten, die nirgendwo innerhalb der Navigationslinks oder von einer der Seiten aus verlinkt sind.

Verwaiste Seiten können existieren, wenn sie früher Teil der Website waren und nach einer Neugestaltung der Website der Link zu dieser alten Seite verschwunden ist, aber externe Links von anderen Websites können noch auf sie verweisen. Um zu überprüfen, ob solche Seiten auf Ihrer Website existieren, können Sie verschiedene Tools verwenden.

Google Search Console

Die Suchkonsole meldet 404-Seiten, wenn der Crawler von Google alle Seiten durchsucht, die er finden kann. Dazu können auch Links von anderen Websites gehören, die zu einer Seite führen, die früher auf Ihrer Website existierte.

Google Analytics

In Google Analytics finden Sie standardmäßig keinen Bericht über fehlende Seiten. Sie können sie jedoch auf verschiedene Weise verfolgen.

Zum einen können Sie einen benutzerdefinierten Bericht erstellen und Seiten herausfiltern, die einen Seitentitel mit dem Vermerk „Error 404 – Page Not Found“ haben.

Eine andere Möglichkeit, verwaiste Seiten in Google Analytics zu finden, besteht darin, benutzerdefinierte Inhaltsgruppierungen zu erstellen und alle 404-Seiten einer Inhaltsgruppe zuzuordnen.

Site: Operator-Suchbefehl

Wenn Sie bei Google nach „site:example.com“ suchen, werden alle Seiten von example.com aufgelistet, die von Google indiziert werden. Sie können dann einzeln überprüfen, ob die Seiten geladen werden oder ob sie 404s liefern.

Um dies in großem Umfang zu tun, verwende ich gerne WebCEO, das eine Funktion hat, um den Site: Operator nicht nur auf Google, sondern auch auf Bing, Yahoo, Yandex, Naver, Baidu und Seznam laufen zu lassen.

Da alle Suchmaschinen Ihnen nur eine Teilmenge liefern, kann die Ausführung auf mehreren Suchmaschinen helfen, eine größere Liste von Seiten Ihrer Website zu erhalten. Diese Liste kann exportiert und mit Tools für eine 404-Massenprüfung ausgeführt werden. Dazu füge ich einfach alle URLs als Links in eine HTML-Datei ein und lade sie in Xenu, um eine Massenprüfung auf 404-Fehler durchzuführen.

Andere Backlink-Recherche-Tools

Backlink-Recherche-Tools wie Majestic, Ahrefs, Moz Open Site Explorer, Sistrix, LinkResearchTools und CognitiveSEO können ebenfalls helfen.

Die meisten dieser Tools exportieren eine Liste der Backlinks, die auf Ihre Domain verweisen. Von dort aus können Sie alle Seiten überprüfen, auf die verlinkt wird, und nach 404-Fehlern suchen.

Wie man Soft-404-Fehler behebt

Crawling-Tools erkennen keine Soft-404-Fehler, weil es sich nicht wirklich um 404-Fehler handelt. Aber Sie können Crawling-Tools verwenden, um etwas anderes zu erkennen. Hier sind einige Dinge zu finden:

• Dünner Inhalt: Einige Crawling-Tools melden nicht nur Seiten mit dünnem Inhalt, sondern zeigen auch eine Gesamtwortzahl an. Von dort aus können Sie die URLs nach der Anzahl der Wörter sortieren, die Ihr Inhalt enthält. Beginnen Sie mit den Seiten, die die wenigsten Wörter haben, und bewerten Sie, ob die Seite einen dünnen Inhalt hat.
• Doppelte Inhalte: Einige Crawling-Tools sind ausgeklügelt genug, um zu erkennen, welcher Prozentsatz der Seite Vorlageninhalt ist. Wenn der Hauptinhalt fast derselbe ist wie bei vielen anderen Seiten, sollten Sie diese Seiten untersuchen und feststellen, warum es doppelten Inhalt auf Ihrer Website gibt.

Abgesehen von den Crawling-Tools können Sie auch die Google Search Console verwenden und unter Crawl-Fehlern nachsehen, um Seiten zu finden, die unter Soft 404s aufgeführt sind.

Das Crawlen einer gesamten Website, um Probleme zu finden, die Soft-404s verursachen, ermöglicht es Ihnen, Probleme zu lokalisieren und zu korrigieren, bevor Google sie überhaupt entdeckt.

Nach der Erkennung dieser Soft-404-Probleme müssen Sie sie korrigieren.

Die meisten Lösungen scheinen vernünftig zu sein. Dazu gehören einfache Dinge wie das Erweitern von Seiten mit dünnem Inhalt oder das Ersetzen von doppeltem Inhalt durch neue und einzigartige Inhalte.

Während dieses Prozesses sind einige Dinge zu beachten:

• Seiten konsolidieren: Manchmal wird dünner Inhalt dadurch verursacht, dass das Thema der Seite zu spezifisch ist, was dazu führen kann, dass Sie wenig zu sagen haben. Es kann sinnvoll sein, mehrere dünne Seiten auf einer Seite zusammenzufassen, wenn die Themen miteinander verwandt sind. Auf diese Weise lassen sich nicht nur Probleme mit dünnem Inhalt lösen, sondern auch Probleme mit doppeltem Inhalt beheben. Eine E-Commerce-Website, die Schuhe in verschiedenen Farben und Größen verkauft, kann beispielsweise für jede Größe und Farbkombination eine eigene URL haben. Dies führt zu einer großen Anzahl von Seiten mit dünnen und relativ identischen Inhalten. Effektiver ist es, alles auf einer Seite zusammenzufassen und die verfügbaren Optionen aufzuzählen.
• Finden Sie technische Probleme, die zu doppelten Inhalten führen: Selbst mit dem einfachsten Web-Crawling-Tool wie Xenu (das sich nicht den Inhalt, sondern nur URLs, Antwortcodes und Titel-Tags ansieht) können Sie Probleme mit doppelten Inhalten finden, indem Sie sich die URLs ansehen. Dazu gehören Dinge wie www- und nicht-www-URLs, http und https, mit index.html und ohne, mit Tracking-Parametern und ohne usw. Eine gute Zusammenfassung dieser häufigen Duplicate-Content-Probleme in URL-Mustern finden Sie auf Folie 6 dieser Präsentation.

Google behandelt 404-Fehler & Soft-404-Fehler auf die gleiche Weise

Ein Soft-404-Fehler ist kein echter 404-Fehler, aber Google deindexiert diese Seiten, wenn sie nicht schnell behoben werden. Am besten ist es, Ihre Website regelmäßig zu crawlen, um zu sehen, ob 404- oder Soft-404-Fehler auftreten. Crawling-Tools sollten ein wichtiger Bestandteil Ihres SEO-Arsenals sein.

Bildnachweis

Featured Image: Paulo Bobita