404 vs. pehmeät 404-virheet:

Jokaiseen selaimessa latautuvaan sivuun sisältyy HTTP-otsakkeisiin vastauskoodi, joka voi näkyä tai olla näkymättä itse sivulla.

Palvelin antaa monia erilaisia vastauskoodeja, joilla se ilmoittaa sivun lataustilanteen; yksi tunnetuimmista koodeista on 404-vastauskoodi.

Kaikki koodit, jotka sijoittuvat välille 400-499, kertovat yleensä siitä, että sivua ei ladattu. 404-vastauskoodi on ainoa, jolla on erityinen merkitys – se tarkoittaa, että sivu on itse asiassa kadonnut eikä todennäköisesti tule takaisin lähiaikoina.

Mikä on pehmeä 404-virhe?

Pehmeä 404-virhe ei ole verkkoselaimelle lähetetty virallinen vastauskoodi. Se on vain merkintä, jonka Google lisää sivulle indeksissään.

Kun Google indeksoi sivuja, se jakaa resurssit huolellisesti varmistaen, ettei aikaa tuhlaannu indeksoimatta jääneiden sivujen indeksointiin.

On kuitenkin olemassa palvelimia, jotka ovat huonosti konfiguroituja ja niiden puuttuva sivu lataa 200-koodin, kun sen pitäisi näyttää 404-vastauskoodi. Jos näkymätön HTTP-otsikko näyttää 200-koodin, vaikka verkkosivulla ilmoitetaan selvästi, että sivua ei löydy, sivu saatetaan indeksoida, mikä on Googlen kannalta resurssien tuhlausta.

Torjuakseen tätä ongelmaa Google huomioi 404-sivujen ominaispiirteet ja yrittää erottaa, onko 404-sivu todella 404-sivu. Toisin sanoen Google on oppinut, että jos sivu näyttää 404:ltä, haisee 404:ltä ja käyttäytyy 404:n tavoin, se on todennäköisesti aito 404-sivu.

Mahdollisesti väärin tunnistettu pehmeäksi 404:ksi

On myös tapauksia, joissa sivu ei todellisuudessa puutu, mutta tietyt ominaisuudet ovat saaneet Googlen luokittelemaan sen puuttuvaksi sivuksi.

Joitakin näistä ominaisuuksista ovat esimerkiksi sivun sisällön vähäisyys tai puuttuminen ja se, että sivustolla on liikaa samankaltaisia sivuja.

Nämä ominaisuudet ovat myös samankaltaisia tekijöitä, joihin Pandan algoritmi puuttuu. Panda-päivitys pitää ohutta ja päällekkäistä sisältöä negatiivisina ranking-tekijöinä.

Siten näiden ongelmien korjaaminen auttaa välttämään sekä pehmeät 404-virheet että Panda-ongelmat.

404-virheillä on kaksi pääasiallista syytekijää:

• Virhe linkissä, joka ohjaa käyttäjät sivulle, jota ei ole olemassa.
• Linkki, joka johtaa aiemmin olemassa olleelle sivulle, joka on yhtäkkiä kadonnut.

Linkkivirhe

Jos 404:n syy on linkkivirhe, linkit on vain korjattava.

Tehtävän vaikeus on löytää kaikki sivuston rikkinäiset linkit.

Haasteellisempaa voi olla suurilla, monimutkaisilla sivustoilla, joilla on tuhansia tai miljoonia sivuja. Tällaisissa tapauksissa indeksointityökalut ovat käteviä. Voit kokeilla esimerkiksi seuraavia ohjelmistoja: Xenu, DeepCrawl, Screaming Frog tai Botify.

Sivu, jota ei enää ole olemassa

Kun sivua ei enää ole olemassa, sinulla on kaksi vaihtoehtoa:

• Palauta sivu, jos se on poistettu vahingossa.
• 301 ohjata se lähimpään liittyvään sivuun, jos se on poistettu tarkoituksella.

Ensin sinun on paikannettava kaikki sivuston linkitysvirheet. Samoin kuin kaikkien linkitysvirheiden löytämiseen laajamittaisella sivustolla, voit käyttää indeksointityökaluja. Ryömintätyökalut eivät kuitenkaan välttämättä löydä orpoja sivuja, jotka ovat sivuja, joihin ei ole linkkejä mistään navigaatiolinkkien sisältä tai miltään sivulta.

Orpoja sivuja voi olla olemassa, jos ne ovat aiemmin olleet osa verkkosivustoa, ja sitten verkkosivuston uudelleensuunnittelun jälkeen linkki, joka menee tälle vanhalle sivulle, on kadonnut, mutta ulkoiset linkit muilta verkkosivustoilta saattavat edelleen linkittää niihin. Voit tarkistaa kahdesti, onko sivustollasi olemassa tällaisia sivuja, käyttämällä erilaisia työkaluja.

Googlen hakukonsoli

Hakukonsoli ilmoittaa 404-sivut, kun Googlen indeksointiohjelma käy läpi kaikki löytämänsä sivut. Tämä voi sisältää muiden sivustojen linkkejä, jotka menevät sivulle, joka oli aiemmin olemassa sivustossasi.

Google Analytics

Puuttuvia sivuja koskevaa raporttia ei oletusarvoisesti löydy Google Analyticsista. Voit kuitenkin seurata niitä monin tavoin.

Voit esimerkiksi luoda mukautetun raportin ja segmentoida sivut, joiden sivun otsikossa mainitaan Error 404 – Page Not Found.

Toinen tapa löytää orvot sivut Google Analyticsissa on luoda mukautettuja sisältöryhmiä ja määrittää kaikki 404-sivut sisältöryhmään.

Sivusto: Operaattorin hakukomento

Haku Googlen hakusanalla ”site:example.com” listaa kaikki example.comin sivut, jotka Google indeksoi. Voit sitten yksitellen tarkistaa, latautuvatko sivut vai antavatko ne 404-ilmoituksia.

Tehdäksesi tämän laajassa mittakaavassa, käytän mielelläni WebCEO:ta, jossa on ominaisuus, jolla voit ajaa site: operator -hakua Googlen lisäksi myös Bingissä, Yahoossa, Yandexissa, Naverissa, Baidussa ja Seznamissa.

Koska kaikki hakukoneet antavat vain osajoukon tietoja, useilla eri hakukoneilla ajaminen voi auttaa saamaan laajemman luettelon sivustosi sivuista. Tämä luettelo voidaan viedä ja ajaa työkaluilla 404-massatarkistusta varten. Teen tämän yksinkertaisesti lisäämällä kaikki URL-osoitteet linkkeinä HTML-tiedostoon ja lataamalla sen Xenuun 404-virheiden massatarkastusta varten.

Muut backlinkkitutkimustyökalut

Backlinkkitutkimustyökalut, kuten Majestic, Ahrefs, Moz Open Site Explorer, Sistrix, LinkResearchTools ja CognitiveSEO, voivat myös auttaa.

Molemmat näistä työkaluista vievät luettelon verkkotunnuksellesi linkittävistä backlinkeistä. Sieltä voit tarkistaa kaikki sivut, joihin linkitetään, ja etsiä 404-virheitä.

How to Fix Soft 404 Errors

Crawling-työkalut eivät havaitse pehmeää 404-virhettä, koska se ei oikeasti ole 404-virhe. Mutta voit käyttää indeksointityökaluja havaitsemaan jotain muuta. Tässä on muutamia asioita, joita kannattaa etsiä:

• Ohutta sisältöä: Jotkin indeksointityökalut eivät ainoastaan ilmoita sivuista, joilla on ohutta sisältöä, vaan näyttävät myös sanojen kokonaismäärän. Sieltä voit lajitella URL-osoitteita sisällön sanamäärän perusteella. Aloita sivuista, joilla on vähiten sanoja, ja arvioi, onko sivulla ohutta sisältöä.
• Kaksoissisältö: Jotkin indeksointityökalut ovat tarpeeksi kehittyneitä erottamaan, mikä prosenttiosuus sivusta on mallisisältöä. Jos pääsisältö on lähes sama kuin monilla muilla sivuilla, kannattaa tutkia näitä sivuja ja selvittää, miksi sivustollasi on päällekkäistä sisältöä.

Ryömintätyökalujen lisäksi voit myös käyttää Google Search Consolea ja tarkistaa kohdasta ryömintävirheet löytääksesi sivut, jotka on listattu pehmeiden 404-virheiden alle.

Crawlaamalla koko sivuston löytääksesi ongelmat, jotka aiheuttavat soft 404:ää, voit paikallistaa ja korjata ongelmat ennen kuin Google edes havaitsee ne.

Havaittuasi nämä soft 404 -ongelmat sinun on korjattava ne.

Useimmiten ratkaisut tuntuvat maalaisjärjeltä. Niihin voi kuulua yksinkertaisia asioita, kuten ohutta sisältöä sisältävien sivujen laajentaminen tai päällekkäisen sisällön korvaaminen uudella ja ainutlaatuisella sisällöllä.

Tässä prosessissa on muutamia asioita, joita kannattaa ottaa huomioon:

• Konsolidoi sivuja: Joskus ohut sisältö johtuu siitä, että sivun aihe on liian tarkka, jolloin sanottavaa voi jäädä vähän. Useiden ohuiden sivujen yhdistäminen yhdeksi sivuksi voi olla tarkoituksenmukaisempaa, jos aiheet liittyvät toisiinsa. Tämä ei ainoastaan ratkaise ohuen sisällön ongelmia, vaan se voi myös korjata päällekkäisen sisällön ongelmat. Esimerkiksi verkkokauppasivustolla, joka myy eri värejä ja kokoja sisältäviä kenkiä, voi olla eri URL-osoite kutakin koko- ja väriyhdistelmää varten. Näin jää suuri määrä sivuja, joiden sisältö on ohutta ja suhteellisen identtistä. Tehokkaampi lähestymistapa on laittaa tämä kaikki sen sijaan yhdelle sivulle ja luetella käytettävissä olevat vaihtoehdot.
• Etsi teknisiä ongelmia, jotka aiheuttavat päällekkäistä sisältöä: Käyttämällä jopa Xenun kaltaista yksinkertaisinta web crawling -työkalua (joka ei tarkastele sisältöä vaan ainoastaan URL-osoitteita, vastauskoodeja ja otsikkotunnisteita) voit silti löytää päällekkäisen sisällön ongelmia tarkastelemalla URL-osoitteita. Tällaisia ovat esimerkiksi www- ja ei-www-osoitteet, http- ja https-osoitteet, index.html-osoitteet ja osoitteet ilman, seurantaparametrit ja osoitteet ilman jne. Hyvä yhteenveto näistä yleisimmistä URL-kuvioista löytyvistä päällekkäisen sisällön ongelmista löytyy tämän esityksen diasta 6.

Google käsittelee 404-virheitä & Pehmeät 404-virheet samalla tavalla

Pehmeä 404-virhe ei ole todellinen 404-virhe, mutta Google poistaa nämä sivut indeksistä, jos niitä ei korjata nopeasti. On parasta indeksoida sivustosi säännöllisesti nähdäksesi, esiintyykö 404- tai soft 404 -virheitä. Ryömintätyökalujen tulisi olla tärkeä osa SEO-arsenaaliasi.

Image Credits

Featured Image: Paulo Bobita