Kako stran skrijete pred Googlom: robots.txt ali noindex?
Ali ne želite, da bi bila stran vidna v Googlu, na primer stran z zahvalo, testna stran ali stara akcija? Takrat mnogi pomislijo na datoteko robots.txt. Vendar robots.txt strani ne izloči iz Googla. Za to je namenjen noindex. V tem članku preberete razliko, kako uporabljate oba pristopa in kaj storite s stranjo, ki ste jo izbrisali. Kot primer uporabljamo example.com.
Razlika na kratko
| robots.txt | noindex | |
|---|---|---|
| Kaj pove | "Te strani ne pridobivaj." | "Te strani ne vključuj v rezultate iskanja." |
| Ali stran izloči iz Googla? | Ne. Če drugi povežejo na stran, se lahko naslov vseeno prikaže, brez opisa. | Da, takoj ko Google stran ponovno obišče. |
| Kje se nahaja? | Ena datoteka na https://example.com/robots.txt | Znotraj same strani ali kot glava, ki jo pošlje strežnik |
| Za kaj se uporablja? | Za usmerjanje prometa pajkov, na primer za preskok strani z rezultati iskanja na Vašem spletnem mestu | Za strani, ki ostanejo dostopne, vendar ne smejo biti v Googlu |
Nobena od teh metod ni zaščita. Vsak lahko prebere Vašo datoteko robots.txt, stran z noindex pa ostane preprosto dostopna. Če mora biti nekaj res zaščiteno, ga zavarujte z geslom. Oglejte si Zaščita mape z geslom v DirectAdmin.
Uporaba noindex
V <head> strani vstavite naslednjo vrstico:
<meta name="robots" content="noindex">
Pri datotekah brez HTML, na primer pdf, lahko strežnik enako navodilo pošlje kot glavo: X-Robots-Tag: noindex. Učinek je enak.
Večinoma Vam tega ni treba sami vnašati:
- AI Builder: odprite razdelek SEO, izberite stran in pod Več za to stran izklopite stikalo Ta stran naj bo najdljiva v Googlu. Stran ostane dostopna, vendar dobi noindex. Nato ponovno objavite.
- WordPress: SEO vtičnik ima za vsako stran možnost, da strani ne indeksira. Kljukica Odvrni iskalnike od indeksiranja tega spletnega mesta pod Nastavitve, Branje velja za celotno spletno mesto.
- Drugi gradniki spletnih strani: poiščite nastavitev, kot je "skrij pred iskalniki".
Ustvarjanje ali urejanje robots.txt
Pri hosting paketu se robots.txt nahaja v spletni mapi Vaše domene, pri DirectAdmin v mapi public_html. Datoteko ustvarite ali uredite prek upravitelja datotek ali FTP, glejte Odpiranje upravitelja datotek: mape v Vašem paketu. Primer:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *velja za vse iskalne pajke.Disallow:s potjo prepove vse, kar se začne s to potjo.Disallow: /prepove celotno spletno mesto.- Če ustvarite tudi skupino
User-agent: Googlebot, Google upošteva samo to skupino in prezre skupino*. Zato v njej ponovite vsa pravila, ki veljajo tudi za Google. - Ne blokirajte map s stilskimi predlogami, skripti ali slikami, ki jih stran potrebuje.
- Če robots.txt ne obstaja, to ni težava: tedaj je dovoljeno vse. Če naslov vrne napako strežnika, Google začasno preneha s pridobivanjem.
WordPress sam ustvari robots.txt, dokler v spletni mapi ni druge datoteke. AI Builder ob objavi sam nastavi robots.txt z vrstico Sitemap:.
Google Vašo datoteko robots.txt običajno shrani do 24 ur. V Search Console pod Nastavitve najdete poročilo o datoteki robots.txt: katero različico je Google nazadnje pridobil, z napakami in opozorili, ter gumb za ponovno pridobitev.
Izbrisana stran: 404 ali 410, ne soft 404
Če ste stran izbrisali, mora naslov vrniti statusno kodo 404 (ni najdeno) ali 410 (izginilo). Ob naslednjem obisku Google naslov nato odstrani iz rezultatov iskanja. Če ima stran naslednico, stari naslov s kodo 301 preusmerite na novo stran, glejte Preusmeritev spletnega mesta: preusmeritev domene ali strani.
Takoimenovani soft 404 je stran, ki pove, da ne obstaja, ali je skoraj prazna, vendar vseeno vrne kodo 200 (najdeno). Google to pogosto prepozna in take strani ne vključi. V Search Console to vidite kot razlog Soft 404. Tudi preusmerjanje vseh izbrisanih strani na domačo stran lahko velja za soft 404. Poskrbite torej, da stran, ki je res izginila, vrne pravo kodo 404 ali 410.
Ali mora stran hitro izginiti iz rezultatov, na primer ker so bili na njej pomotoma objavljeni osebni podatki? Uporabite orodje Odstranitve v Search Console. To deluje začasno, približno šest mesecev. Zato poskrbite tudi, da ima stran kodo 404, 410, geslo ali noindex.
Dodatno branje
- Google: Blokiranje indeksiranja z noindex (angleško)
- Google: Uvod v robots.txt (angleško)
- Google: poročilo o datoteki robots.txt
- Blokiranje datotek prek .htaccess
Uporabljate WordPress? V lekciji Najdljivost: osnove brezplačnega tečaja WordPress preberete več o robots.txt in možnosti Odvrni iskalnike.