Zemljevid spletnega mesta in robots.txt pri WordPressu in Vašem lastnem spletnem mestu

Zemljevid spletnega mesta (sitemap) je seznam naslovov, ki jih želite imeti v iskalnikih. Datoteka robots.txt iskalnikom pove, katerih naslovov ne smejo obiskati in kje je Vaš zemljevid spletnega mesta. Tako ju preverite pri WordPressu in pri spletnem mestu, ki ga izdelate sami.

WordPress

WordPress od različice 5.5 sam ustvari zemljevid spletnega mesta in robots.txt:

• Zemljevid spletnega mesta je na https://jouwdomein.nl/wp-sitemap.xml.
• Datoteka robots.txt je navidezna: v Vaši spletni mapi ni datoteke, vendar jo WordPress prikaže na https://jouwdomein.nl/robots.txt, skupaj s povezavo do zemljevida spletnega mesta.
• Uporabljate vtičnik za SEO, na primer Yoast SEO ali Rank Math? Ta pogosto ustvari lasten zemljevid spletnega mesta, na primer sitemap_index.xml. Naslov najdete v nastavitvah vtičnika. Ta naslov oddajte pri Googlu in Bingu.

Privzeta datoteka robots.txt v WordPressu je videti približno tako:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Ali WordPress zavrača iskalnike?

1. Prijavite se v WordPress in pojdite na Nastavitve in nato Branje.
2. Pri vidnosti za iskalnike poglejte potrditveno polje Odvrni iskalnike od indeksiranja te strani.
3. To polje mora biti izklopljeno. Kliknite Shrani spremembe.

Če je polje označeno, WordPress iskalnike prosi, naj preskočijo celotno Vaše spletno mesto. Pogosto se ga vklopi med izdelavo, nato pa se nanj pozabi.

Več o najdljivosti v WordPressu preberite v Najdljivost: osnove.

Lastna datoteka robots.txt

Če v svojo spletno mapo sami postavite datoteko robots.txt, ima ta prednost pred navidezno datoteko robots.txt iz WordPressa. Pri gostovanju pri WebOké je spletna mapa Vaše domene public_html. Datoteko vanjo naložite z Upraviteljem datotek v DirectAdminu (glejte Odpiranje Upravitelja datotek: mape v Vašem paketu) ali prek FTP.

Preprosta datoteka robots.txt, ki dovoli vse in kaže na Vaš zemljevid spletnega mesta:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Spletno mesto, ki ga izdelate sami

Ali spletno mesto izdelate sami ali z drugim programom? Preverite, ali ta program ustvari zemljevid spletnega mesta. Če ga ne, lahko shajate tudi brez njega: majhno spletno mesto z dobrimi povezavami med stranmi iskalniki prav tako najdejo. Zemljevid spletnega mesta pa vseeno pomaga. Postavite ga v spletno mapo in ga navedite v datoteki robots.txt, kot je prikazano zgoraj.

Preverjanje

• Odprite https://jouwdomein.nl/robots.txt. Ali je pod User-agent: * zapisano Disallow: /? Potem Vašega spletnega mesta ne sme obiskati noben iskalnik. To vrstico odstranite, ko je spletno mesto dokončano.
• Ali je v datoteki vrstica Sitemap:? Ta naslov odprite v brskalniku. Videti bi morali seznam naslovov Vašega spletnega mesta, s https in Vašo lastno domeno.

Nasvet: robots.txt strani ne izključi iz Googla. Stran, ki je ni dovoljeno obiskati, se lahko vseeno pojavi v rezultatih iskanja, če nanjo povezujejo druga spletna mesta. Če želite stran resnično izključiti iz Googla, uporabite noindex. Razliko pojasnjuje lekcija robots.txt: kaj blokirate in česa ne v tečaju Najdljivost na spletu.