Kako stran izključiti iz Googla: robots.txt ali noindex?
Ne želite, da bi bila stran v Googlu, na primer stran z zahvalo, testna stran ali stara akcija? Mnogi takrat pomislijo na datoteko robots.txt. Vendar robots.txt strani ne izloči iz Googla. Za to je namenjen noindex. V tem članku boste prebrali, v čem je razlika, kako uporabite oboje in kaj storite s stranjo, ki ste jo izbrisali. Kot primer uporabljamo example.com.
Razlika na kratko
| robots.txt | noindex | |
|---|---|---|
| Kaj sporoča | „Te strani ne prenašaj.“ | „Te strani ne vključi v rezultate iskanja.“ |
| Ali izloči stran iz Googla? | Ne. Če se drugi povezujejo na stran, se njen naslov lahko vseeno prikaže, brez opisa. | Da, ko Google stran znova obišče. |
| Kje se nahaja? | Ena datoteka na https://example.com/robots.txt | V sami strani ali kot glava, ki jo pošlje strežnik |
| Za kaj ga uporabite? | Za usmerjanje pajkanja, na primer da se preskočijo strani z rezultati iskanja na Vaši spletni strani | Za strani, ki ostanejo dostopne, vendar ne sodijo v Google |
Nobeno od obojega ni zaščita. Vašo datoteko robots.txt lahko prebere vsak, stran z oznako noindex pa ostane normalno dostopna. Če mora biti nekaj zares zaščiteno, to zavarujte z geslom. Oglejte si Zaščita mape z geslom v DirectAdmin.
Uporaba oznake noindex
To vrstico vstavite v <head> strani:
<meta name="robots" content="noindex">
Pri datotekah brez HTML, na primer pri PDF, lahko strežnik isto navodilo pošlje kot glavo: X-Robots-Tag: noindex. Učinek je enak.
Običajno Vam tega ni treba vpisati ročno:
- AI Builder: odprite razdelek SEO, izberite stran in pod Več za to stran izklopite stikalo Ta stran je najdljiva v Googlu. Stran ostane dostopna, vendar dobi oznako noindex. Nato jo znova objavite.
- WordPress: vtičnik za SEO ima pri vsaki strani nastavitev, s katero prepreči indeksiranje strani. Potrditveno polje Odvrni iskalnike od indeksiranja te strani v Nastavitve, Branje velja za celotno spletno stran.
- Drugi graditelji spletnih strani: poiščite nastavitev, kot je „skrij pred iskalniki“.
Ustvarjanje ali urejanje datoteke robots.txt
Na paketu gostovanja je robots.txt v spletni mapi Vaše domene, pri DirectAdmin je to mapa public_html. Datoteko ustvarite ali uredite prek upravitelja datotek (File Manager) ali FTP, oglejte si Odpiranje upravitelja datotek: mape v Vašem paketu. Primer:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *velja za vse iskalne robote.Disallow:s potjo prepove vse, kar se začne s to potjo.Disallow: /prepove celotno spletno stran.- Če ustvarite tudi skupino
User-agent: Googlebot, Google upošteva samo to skupino in prezre skupino*. Tam torej ponovite vsa pravila, ki veljajo tudi za Google. - Ne blokirajte map s slogovnimi datotekami, skriptami ali slikami, ki jih Vaša stran potrebuje.
- Če datoteke robots.txt ni, to ni težava: takrat je dovoljeno vse. Če naslov vrne napako strežnika, Google začasno preneha s prenašanjem.
WordPress sam ustvari robots.txt, dokler v spletni mapi ni datoteke. AI Builder pri objavi sam ustvari robots.txt z vrstico Sitemap:.
Podrobna razlaga s posnetki zaslona: Zemljevid strani in robots.txt pri AI Builder in Zemljevid strani in robots.txt pri WordPressu in Vaši lastni spletni strani v priročniku Najdeni na spletu.
Google Vašo datoteko robots.txt običajno hrani do 24 ur. V Search Console v Nastavitve najdete poročilo o datoteki robots.txt: katero različico je Google nazadnje prenesel, z napakami in opozorili, ter gumb, s katerim zahtevate ponoven prenos.
Izbrisana stran: 404 ali 410, ne mehka napaka 404
Če ste stran izbrisali, mora naslov vrniti statusno kodo 404 (ni najdeno) ali 410 (odstranjeno). Ob naslednjem obisku Google naslov odstrani iz rezultatov iskanja. Če ima stran naslednico, stari naslov s preusmeritvijo 301 preusmerite na novo stran, oglejte si Preusmeritev spletne strani: preusmeritev domene ali strani.
Mehka napaka 404 (soft 404) je stran, ki sporoča, da ne obstaja, ali je skoraj prazna, a kljub temu vrne kodo 200 (najdeno). Google to pogosto prepozna in takšne strani ne vključi. V Search Console jo vidite kot razlog Mehka napaka 404. Tudi preusmeritev vseh izbrisanih strani na Vašo domačo stran lahko velja za mehko napako 404. Stran, ki je zares odstranjena, naj torej vrne pravo kodo 404 ali 410.
Mora stran hitro izginiti iz rezultatov, na primer ker so bili na njej pomotoma osebni podatki? Takrat uporabite Odstranitve v Search Console. To deluje začasno, približno šest mesecev. Zato poskrbite tudi, da ima stran kodo 404, 410, geslo ali oznako noindex.
Več branja
- Google: Blokiranje indeksiranja z oznako noindex (v angleščini)
- Google: Uvod v robots.txt (v angleščini)
- Google: Poročilo o datoteki robots.txt
- Blokiranje datotek prek .htaccess
Uporabljate WordPress? V lekciji Najdljivost: osnove brezplačnega tečaja WordPress preberete več o datoteki robots.txt in potrditvenem polju Odvrni iskalnike.
Želite izvedeti več? Udeležite se brezplačnega tečaja Najdeni na spletu, lekcija 3.3 robots.txt: kaj blokirate in česa ne.