Varje sida som laddas i en webbläsare har en svarskod som ingår i HTTP-huvudet, som kan vara synlig eller inte på själva webbsidan.
Det finns många olika svarskoder som servern ger för att kommunicera sidans laddningsstatus; en av de mest välkända koderna är 404-svarskoden.
Generellt sett indikerar alla koder mellan 400 och 499 att sidan inte laddades. 404-svarskoden är den enda som har en specifik innebörd – att sidan faktiskt är borta och förmodligen inte kommer tillbaka inom kort.
Vad är ett mjukt 404-fel?
Ett mjukt 404-fel är inte en officiell svarskod som skickas till en webbläsare. Det är bara en etikett som Google lägger till på en sida i sitt index.
När Google kryssar sidor fördelar de resurserna noggrant och ser till att ingen tid går till spillo genom att kryssa saknade sidor som inte behöver indexeras.
Det finns dock vissa servrar som är dåligt konfigurerade och deras saknade sida laddar en 200-kod när den borde visa en 404-svarskod. Om den osynliga HTTP-huvudet visar en 200-kod även om webbsidan tydligt anger att sidan inte hittas kan sidan indexeras, vilket är ett slöseri med resurser för Google.
För att bekämpa detta problem noterar Google egenskaperna hos 404-sidor och försöker urskilja om 404-sidan verkligen är en 404-sida. Med andra ord har Google lärt sig att om den ser ut som en 404, luktar som en 404 och beter sig som en 404 så är det förmodligen en äkta 404-sida.
Potentiellt felidentifierad som Soft 404
Det finns också fall där sidan faktiskt inte saknas, men där vissa egenskaper har fått Google att kategorisera den som en saknad sida.
En del av dessa egenskaper är en liten mängd eller brist på innehåll på sidan och att det finns för många liknande sidor på webbplatsen.
Dessa egenskaper liknar också de faktorer som Panda-algoritmen tar itu med. Panda-uppdateringen betraktar tunt och duplicerat innehåll som negativa rankingfaktorer.
Därmed kan man genom att åtgärda dessa problem undvika både mjuka 404:er och Panda-problem.
404-fel har två huvudorsaker:
- Fel i länken, som leder användarna till en sida som inte finns.
- En länk som leder till en sida som tidigare fanns och plötsligt försvann.
Länkfel
Om orsaken till 404 är ett länkfel är det bara att åtgärda länkarna.
Den svåra delen av den här uppgiften är att hitta alla trasiga länkar på en webbplats.
Det kan vara en större utmaning för stora, komplexa webbplatser som har tusentals eller miljoner sidor. I sådana fall kommer crawlingverktyg väl till pass. Du kan prova att använda programvaror som Xenu, DeepCrawl, Screaming Frog eller Botify.
En sida som inte längre existerar
När en sida inte längre existerar har du två alternativ:
- Sätt tillbaka sidan om den togs bort av misstag.
- 301 omdirigera den till den närmast relaterade sidan om den togs bort med flit.
Först måste du lokalisera alla länkningsfel på webbplatsen. I likhet med att hitta alla fel i länkning för en stor webbplats kan du använda crawlingverktyg. Crawlingverktyg kan dock inte hitta föräldralösa sidor, vilket är sidor som inte är länkade från någonstans i navigeringslänkarna eller från någon av sidorna.
Föräldralösa sidor kan förekomma om de brukade vara en del av webbplatsen, men efter en omarbetning av webbplatsen försvann länken som går till den gamla sidan, men externa länkar från andra webbplatser kan fortfarande länka till dem. För att dubbelkolla om den här typen av sidor finns på din webbplats kan du använda olika verktyg.
Google Search Console
Sökkonsolen rapporterar 404-sidor när Googles crawler går igenom alla sidor den kan hitta. Detta kan inkludera länkar från andra webbplatser som går till en sida som tidigare fanns på din webbplats.
Google Analytics
Du kommer inte att hitta en rapport om saknade sidor i Google Analytics som standard. Du kan dock spåra dem på ett antal sätt.
För det första kan du skapa en anpassad rapport och segmentera ut sidor som har en sidtitel som nämner Error 404 – Page Not Found.
Ett annat sätt att hitta föräldralösa sidor i Google Analytics är att skapa anpassade innehållsgrupper och tilldela alla 404-sidor till en innehållsgrupp.
Sajt: Operator Search Command
Söker du på Google efter ”site:example.com” visas alla sidor på example.com som indexeras av Google. Du kan sedan individuellt kontrollera om sidorna laddas eller om de ger 404:or.
För att göra detta i stor skala använder jag gärna WebCEO, som har en funktion för att köra site: operator inte bara på Google, utan även på Bing, Yahoo, Yandex, Naver, Baidu och Seznam.
Då alla sökmotorer bara ger dig en delmängd, kan körning på flera sökmotorer hjälpa till att ge en större lista över sidor på din webbplats. Denna lista kan exporteras och köras på verktyg för en mass 404-kontroll. Jag gör helt enkelt detta genom att lägga till alla webbadresser som länkar i en HTML-fil och ladda den på Xenu för att kontrollera 404-fel i stor skala.
Andra verktyg för forskning om backlänkar
Backlinkforskningsverktyg som Majestic, Ahrefs, Moz Open Site Explorer, Sistrix, LinkResearchTools och CognitiveSEO kan också vara till hjälp.
De flesta av dessa verktyg exporterar en lista över de backlinks som länkar till din domän. Därifrån kan du kontrollera alla sidor som länkas till och leta efter 404-fel.
Hur man åtgärdar mjuka 404-fel
Crawlingverktyg upptäcker inte en mjuk 404 eftersom det inte riktigt är ett 404-fel. Men du kan använda crawlingverktyg för att upptäcka något annat. Här är några saker att hitta:
- Tunnt innehåll: Vissa crawlingverktyg rapporterar inte bara sidor som har tunt innehåll, utan visar också ett totalt antal ord. Därifrån kan du sortera webbadresser utifrån innehållets antal ord. Börja med de sidor som har minst antal ord och utvärdera om sidan har tunt innehåll.
- Duplicerat innehåll: Vissa crawlingverktyg är tillräckligt sofistikerade för att urskilja hur stor andel av sidan som är mallinnehåll. Om huvudinnehållet är nästan detsamma som på många andra sidor bör du undersöka dessa sidor och avgöra varför det finns duplicerat innehåll på din webbplats.
Bortsett från crawlingverktygen kan du också använda Google Search Console och kontrollera under crawlfel för att hitta sidor som listas under mjuka 404:or.
Att krama en hel webbplats för att hitta problem som orsakar mjuka 404:or gör att du kan lokalisera och korrigera problemen innan Google ens upptäcker dem.
När du har upptäckt dessa mjuka 404-problem måste du korrigera dem.
Ftast av allt verkar lösningarna vara sunt förnuft. Det kan handla om enkla saker som att utöka sidor med tunt innehåll eller ersätta duplicerat innehåll med nytt och unikt innehåll.
Under hela denna process finns här några saker att tänka på:
- Konsolidera sidor: Ibland orsakas tunt innehåll av att man är för specifik med sidans ämne, vilket kan leda till att man inte har mycket att säga. Att slå ihop flera tunna sidor till en sida kan vara lämpligare om ämnena är relaterade. Detta löser inte bara problem med tunt innehåll, utan kan också åtgärda problem med duplicerat innehåll. En e-handelswebbplats som säljer skor i olika färger och storlekar kan till exempel ha en annan webbadress för varje storlek och färgkombination. Detta lämnar ett stort antal sidor med innehåll som är tunt och relativt identiskt. Ett effektivare tillvägagångssätt är att i stället lägga allt detta på en sida och räkna upp de alternativ som finns tillgängliga.
- Hitta tekniska problem som orsakar duplicerat innehåll: Även om du använder det enklaste verktyget för webbcrawling som Xenu (som inte tittar på innehåll utan bara på URL:er, svarskoder och titeltaggar) kan du fortfarande hitta problem med duplicerat innehåll genom att titta på URL:erna. Det gäller t.ex. www- och icke-www-URL:er, http och https, med index.html och utan index.html, med spårningsparametrar och utan spårningsparametrar osv. En bra sammanfattning av dessa vanliga problem med duplicerat innehåll som hittas i URL-mönster finns på bild 6 i den här presentationen.
Google behandlar 404-fel & mjuka 404-fel på samma sätt
En mjuk 404 är inte ett riktigt 404-fel, men Google kommer att avindexera dessa sidor om de inte åtgärdas snabbt. Det är bäst att regelbundet crawla din webbplats för att se om 404- eller mjuka 404-fel förekommer. Crawlingverktyg bör vara en viktig del av din SEO-arsenal.
Bildkrediter
Featured Image: Paulo Bobita