Hakukoneiden botit (engl. bot, sprider, crawler) selaavat jatkuvasti nettiä ja etsivät uusia sivuja ja sivustoja esimerkiksi seuraamalla linkkejä, joita ne löytävät tai lukemalla sivustojen sivukarttoja. Kun hakukone löytää uuden sivun se, lisää sen mahdollisesti indeksiinsä.
Indeksit ovat valtavia tietorakenteita, jotka on järjestetty samalla tavalla kuin kirjan hakemisto, jotta hakukoneet pystyvät hakemaan sieltä tietoa mahdollisimman nopeasti. Esimerkiksi Google on kertonut, että indeksoidessaan sivua, hakukone lukee sivun avainsanat ja huomioi myös muita seikkoja kuten sisällön tuoreuden. Indeksoinnin yhteydessä sivu lisätään kaikkien sivulla olevien sanojen kohtiin.
1. Mistä tiedän onko sivustoni tai sivu indeksoitu?
Voit tarkistaa, onko verkkosivustosi Googlen indeksissä menemällä Googlen etusivulle ja tekemällä haun sivustosi urlilla ja lisäämällä haun eteen määreen site:. Alla esimerkki Hesarin sivusta, josta Google on indeksoinut 1 460 000 sivua. Jos indeksoitujen sivujen määrä vastaa suunnilleen sisällönhallintajärjestelmään syötettyjen sivujen määrää, niin sivustosi indeksoinnissa ei ole ollut ongelmia.

Lisäksi voit tarkistaa sivustosi indeksoinnin tilaa Googlen ilmaisesta Search Console työkalusta hakemalla mitä tahansa sivustollasi olevaa osoitetta ylälaidassa olevasta hakupalkista.
Tältä näyttää, jos sivua ei ole vielä indeksoitu:

Tältä näyttää, jos sivu löytyy indeksistä:

2. Miten voin pyytää Googlea indeksoimaan sivuni?
Google käy lukemassa säännöllisesti sivustoasi ja indeksoi aina löytämiään uusia ja muutettuja sivuja. Se kuinka usein tämä tapahtuu riippuu monesta tekijästä kuten esimerkiksi siitä miten usein sivustosi päivittyy ja kuinka kiireisiä Googlen botit ovat indeksoidessaan muuta tärkeämmäksi kokemaansa sisältöä.
Voit pyytää Googlea lisäämään sivuja indeksointijonoon Search Consolessa joko sivu kerrallaan klikkaamalla Request indexing tai lähettämällä useamman sivun xml-sivukartan muodossa. Voit pyytää Googlelta myös uudelleen indeksointia, jos olet muuttanut sivusi sisältöä.
Huomaa kuitenkin, että voit tehdä manuaalisia pyyntöjä vain muutaman päivässä ja indeksointi tapahtuu yleensä viiveellä. Lue tästä lisää seuraavasta kohdasta.
3. Kauanko Googlella kestää indeksoida sivu?
Googlen mukaan suurin osa hyvästä sisällöstä indeksoidaan noin viikon kuluessa, mutta vaihtelu on suurta ja prosessi kestää muutamasta tunnista jopa muutamiin viikkoihin.
Indeksointia voit Googlen mukaan nopeuttaa seuraavilla toimenpiteillä:
- Varmista, että sivustosi toimii nopeasti. Mitä nopeammin sivustosi vastaa Googlen tekemiin sivulatauksiin, sitä nopeammin Google pystyy ne myös käsittelemään.
- Linkitä esimerkiksi navigaatiosta, etusivulta tai vanhemmista artikkeleista uuteen sivuusi. Lisää tietoa hakukoneista ja linkeistä löydät täältä.
- Varmista, että sivustollasi ei ole kasapäin turhia urleja. Esimerkiksi url-parametrit saattavat lisätä erilaisten osoitteiden määrää paljonkin. Tällöin kannattaa käyttää canonical-tageja kertomaan, että suodatettujen sivujen sijasta halutaan Googlen indeksoivan vain yksi suodattamaton sivu. Alla esimerkki Zalandon verkkokaupasta ja siitä miten tuotteiden suodatus lisää parametreja osoitteeseen
4. Miksei sivuni näy Googlen hakutuloksissa, vaikka se on indeksoitu?
Vaikka sivu olisikin lisätty Googlen indeksiin, se ei vielä tarkoita sitä, että se näkyisi hakutuloksissa. Google käyttää erilaisia algoritmeja hakiessaan indeksistä parhaiten hakulauseketta vastaavan tuloksen. Jos kyseinen sivu ei algoritmien mukaan ole paras mahdollinen tulos, sitä ei myöskään näytetä hakutuloksissa.
5. Voinko estää hakukoneita indeksoimasta sisältöäni?
Hakukoneet aloittavat indeksoinnin lukemalla robots.txt-tiedoston, joka löytyy yleensä sivuston juuresta eli vaikkapa www.raikasdigital/robots.txt. Tämän tiedoston avulla pystyt kertomaan hakukoneille, mitä osioita sivustosta ei saa indeksoida. Usein esimerkiksi ylläpidon kirjautumissivu halutaan jättää indeksoinnin ulkopuolelle.
Voit myös estää yksittäisten sivujen indeksoimisen käyttämällä sivulla noindex-tagia. Esimerkiksi WordPressissä voit tehdä tämän Yoast SEO -lisäosalla valitsemalla Edistyneet -valikosta, että hakukoneiden ei sallita näyttää artikkelia hakutuloksissa.
6. Mitä tehdä, jos Google ei indeksoi sivustoani?
Tarkista ensin, että et ole estänyt indeksointia robots.txt -tiedostossa tai noindex-tagilla. Yleensä kannattaa myös pyytää sivun indeksoimista manuaalisesti Search Consolen kautta. Lisäksi varmista, että hakukone pystyy lukemaan sivusi sisältöä esimerkiksi tämän ilmaisen työkalun avulla.
Jos tämänkään jälkeen ei muutamaan viikkoon tapahdu mitään syy voi olla siinä, että sisältö on julkaistu jo jossain muualla eikä Google halua indeksoida sitä toiseen kertaan tai sisältö voi olla myös Googlen mielestä huonolaatuista esimerkiksi tekstisisältöä on sivulla liian vähän.