Indeksiranje: kaj pride v indeks in kaj ne

Modul 1: Kako delujejo iskalniki · Čas branja: 11 min

Učni cilj: Po tej lekciji boste za vsako stran znali presoditi, ali lahko pride v indeks, in če ne, katera od štirih "ključavnic" jo zadržuje: statusna koda, robots.txt, noindex ali canonical.

Ključni pojmi: indeksiranje, Googlove tehnične zahteve, noindex (meta robots in X-Robots-Tag), robots.txt ni noindex, kanonikalizacija, podvojena vsebina, soft 404, "Crawled - currently not indexed" (preiskano, trenutno ni indeksirano), "Discovered - currently not indexed" (odkrito, trenutno ni indeksirano), ni zagotovila

Kaj se zgodi pri indeksiranju

Ko pajek stran prenese (lekcija 1.2), jo iskalnik prebere. Google analizira besedilo, naslov, podnaslove, slike in videoposnetke ter ugotovi, v katerem jeziku je stran. Preveri tudi, ali je stran kopija druge strani in katera od teh kopij je "prava". Šele nato Google odloči, ali stran pride v indeks.

Google o tem pravi dvoje, kar si je dobro zapomniti:

• Vključitev ni zagotovljena. Tudi če Vaša stran izpolnjuje vse zahteve, se lahko Google odloči, da je ne vključi.
• Normalno je, da ni vključeno vse. Google v pomoči za poročilo o indeksiranju dobesedno piše, da ne smete pričakovati, da bo indeksiran vsak naslov Vašega spletnega mesta, in da je to lahko povsem v redu. Pomembne so Vaše ključne strani.

Tri tehnične zahteve

Google navaja tri tehnične zahteve, da stran pride v poštev za indeks:

1. Googlebot ni blokiran. Stran je dosegljiva in robots.txt ne prepoveduje prenosa.
2. Stran deluje. Strežnik vrne statusno kodo 200, ne napake.
3. Stran ima vsebino, ki jo je mogoče indeksirati. Besedilo v vrsti datoteke, ki jo Google zna prebrati, in brez kršitve pravilnika o neželeni vsebini.

V praksi se temu pridružita še dve odločitvi lastnika spletnega mesta: noindex ("tega ne vključi") in canonical, ki kaže na drug naslov ("ne tega, ampak onega"). Skupaj so to štiri ključavnice, skozi katere mora stran.

Ključavnica 1: statusna koda

V indeks lahko pride le stran s statusom 200. Koda 301 ali 308 iskalnik preusmeri na nov naslov; takrat se presoja ta novi naslov. Koda 404 ali 410 iz indeksa odstrani naslov, ki je bil prej vključen.

Zahtevnejša različica je soft 404 iz lekcije 1.2: status 200, vsebina pa je sporočilo o napaki ali skoraj prazna stran. Google to pogosto prepozna in take strani ne vključi. Tudi prazna stran kategorije v spletni trgovini ("ni najdenih izdelkov") lahko velja za soft 404.

Ključavnica 2: robots.txt

Z datoteko robots.txt pajku prepoveste, da stran prenese. To je nekaj drugega kot prepoved, da jo vključi. Google je pri tem jasen: robots.txt ni način, da stran zadržite zunaj Googla. Če druga spletna mesta povezujejo na blokirano stran, se lahko naslov vseeno pojavi med rezultati, le brez opisa. V Search Console se to imenuje "Indexed, though blocked by robots.txt" (indeksirano, čeprav blokirano z robots.txt).

Robots.txt je namenjen usmerjanju prometa pajkov: na primer da pajek ne preiskuje tisočih strani z rezultati iskanja na Vašem lastnem spletnem mestu. Lekcija 3.3 se v to poglobi.

Ključavnica 3: noindex

Če res želite, da stran ne pride med rezultate iskanja, uporabite noindex. To lahko storite na dva načina, z enakim učinkom:

<!-- v <head> strani -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Drugi način je glava HTTP, ki jo pošlje strežnik. Deluje tudi za datoteke, ki niso HTML, na primer za pdf. Vrednost none pomeni isto kot noindex, nofollow. Z <meta name="googlebot" content="noindex"> pravilo velja samo za Google; drugi iskalniki lahko splošno pravilo razlagajo drugače.

Zdaj pa past, ki se pojavi zelo pogosto: noindex in blokada v robots.txt skupaj ne delujeta. Če robots.txt stran blokira, je Google ne prenese in noindex torej nikoli ne vidi. Stran lahko potem prek povezav drugih vseeno pride v indeks. Če želite stran odstraniti iz Googla: dovolite prenos in nanjo postavite noindex.

Kje lahko na noindex naletite nenamerno?

• V WordPress-u je pod Nastavitve, Preberi potrditveno polje "Odvrni iskalnike od indeksiranja te strani". To postavi noindex na celotno spletno mesto. Priročno med izdelavo, usodno, če ga pozabite izklopiti.
• V AI Builder lahko spletno mesto ali stran nastavite na "ne indeksiraj"; takrat se v stran doda noindex, nofollow. Tudi brezplačno predstavitveno mesto se nikoli ne indeksira.
• Vtičnik za SEO ali tema z napačno nastavitvijo za posamezno stran ali vrsto strani.

Drugi gradniki spletnih strani imajo podobna stikala, pogosto z imenom, kot je "skrij pred iskalniki".

Ključavnica 4: canonical

Veliko spletnih mest ima isto stran pod več naslovi: z www in brez, s http in https, s parametrom na koncu, kot je ?utm_source=nieuwsbrief. Google iz takih skupin izbere en naslov kot kanonično različico in v rezultatih prikaže samo tega. Drugi so dvojniki.

Googlu lahko pri izbiri pomagate s preusmeritvijo (močan signal) ali s sklicem canonical v strani:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical je signal, ne ukaz: Google lahko izbere drug naslov. Če Vaš canonical kaže na drug naslov, stran sama pravi: "ne vključi mene, ampak ono drugo". To je dobro, če drži, in težava, če gre za napako, na primer kadar vsaka stran kaže na domačo stran. Lekcija 3.5 se v to poglobi.

Podvojena vsebina na Vašem lastnem spletnem mestu po Googlovih besedah ni kršitev pravilnika o neželeni vsebini in ne vodi do ročnega ukrepa. Je pa neučinkovita: pajki isto prenašajo večkrat, Vi pa ne odločate sami, kateri naslov se prikaže med rezultati.

Sporočila v Search Console

V poročilu Pages (Page indexing) v Search Console (lekcija 2.4) za vsako neindeksirano stran vidite razlog. Vse štiri ključavnice se pojavijo tudi tam:

Zadnji dve nista tehnični napaki. "Crawled - currently not indexed" je pogosto; Google pravi, da to ni vedno težava. Če gre za pomembno stran, preverite, ali res kaj doda: edinstvena, uporabna stran ima več možnosti kot skopa stran, ki je podobna desetim drugim.

Povzetek

• Po preiskovanju iskalnik odloči, ali stran pride v indeks; to ni nikoli zagotovljeno in ni treba, da je vključeno vse.
• Štiri ključavnice: status 200, ni blokirano v robots.txt, brez noindex, canonical ga ni ali kaže na samega sebe.
• robots.txt prepoveduje prenos, ne vključitve. Za izključitev iz rezultatov uporabite noindex in te strani ne blokirajte v robots.txt.
• Canonical je močan signal, ne ukaz. Podvojena vsebina ni neželena vsebina, je pa neučinkovita.
• "Crawled - currently not indexed" ni tehnična napaka; poglejte vrednost strani.

Kviz

Naloga

Naloga A1.3: Ali sme ta stran v indeks? Vpišite naslov strani (strani Vašega lastnega spletnega mesta ali strani, ki jo namerno skrivate, na primer strani z zahvalo). Nato izberite svoje pričakovanje: "sme v indeks" ali "ne sme v indeks", in če izberete "ne sme", še to, katera ključavnica jo zadržuje (statusna koda, robots.txt, noindex, canonical na drug naslov). Program preveri vse štiri ključavnice, kot v tej lekciji, in svoj rezultat postavi ob Vašega.

Za nadaljnje branje

• Google, Tehnične zahteve za Google Iskanje: https://developers.google.com/search/docs/essentials/technical
• Google, Blokiranje indeksiranja z noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Uvod v robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Združevanje podvojenih URL-jev (kanonikalizacija): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Pomoč za Google Search Console, poročilo Page indexing: https://support.google.com/webmasters/answer/7440203