Dovolite ali blokirajte UI-pajke: robots.txt in llms.txt
Storitve UI, kot so ChatGPT, Claude, Gemini in Perplexity, pridobivajo spletne strani: za učenje modelov, za iskalne odgovore ali za odgovor na vprašanje uporabnika. Z datoteko robots.txt določite, kateri od teh robotov smejo obiskati Vaše spletno mesto. Poleg tega obstaja predlog llms.txt. V tem članku preberete, kateri roboti obstajajo, kako jim dovolite ali preprečite dostop ter kaj llms.txt počne in česa ne. Kot primer uporabljamo example.com.
1. Najpomembnejši roboti UI
Večina podjetij UI uporablja ločena imena za učenje, iskanje in pridobivanje strani na zahtevo uporabnika. Tako lahko na primer blokirate učenje in še vedno ostanete v iskalnih odgovorih.
| Ime v robots.txt | Od | Za kaj |
|---|---|---|
GPTBot | OpenAI | Zbiranje strani, ki se lahko uporabijo za učenje modelov |
OAI-SearchBot | OpenAI | Iskalna funkcija ChatGPT. Če ga blokirate, se Vaše spletno mesto ne bo prikazovalo v iskalnih odgovorih ChatGPT |
ChatGPT-User | OpenAI | Pridobivanje strani, ko to zahteva uporabnik. Po navedbah OpenAI robots.txt tukaj morda ne velja |
ClaudeBot | Anthropic | Zbiranje strani, ki se lahko uporabijo za učenje modelov |
Claude-SearchBot | Anthropic | Indeksiranje strani za iskalno funkcijo Claude |
Claude-User | Anthropic | Pridobivanje strani, ko to zahteva uporabnik |
Google-Extended | Ni ločen robot, temveč ime, s katerim označite, ali sme Google Vašo vsebino uporabiti za učenje modelov Gemini in za grounding. Po navedbah Googla to ne vpliva na Vaš položaj v Google Iskanju | |
PerplexityBot | Perplexity | Prikazovanje spletnih mest in povezav nanje v iskalnih rezultatih Perplexity, ne za učenje |
Perplexity-User | Perplexity | Pridobivanje strani, ko to zahteva uporabnik. Po navedbah Perplexity ta robot robots.txt večinoma prezre |
Seznam se redno spreminja. Aktualna imena najdete v dokumentaciji OpenAI, Anthropic, Google in Perplexity.
2. Primer datoteke robots.txt
Ta primer blokira učenje modelov, iskalnim robotom in običajnim iskalnikom pa dovoli dostop:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot upošteva samo skupino s svojim imenom, sicer pa skupino
*. V primeru GPTBot torej ne sme nikamor, praviloDisallow: /winkelmand/pa za GPTBot ne velja. - Če želite dovoliti dostop vsem robotom UI, Vam ni treba storiti ničesar: brez pravil je dovoljeno vse.
- Če po pomoti blokirate iskalnega robota, kot so
OAI-SearchBot,Claude-SearchBotaliPerplexityBot, Vas bodo v teh iskalnih storitvah UI težje našli. - Blokiranje deluje samo za naprej. Česar so roboti že prej pridobili, s tem ne prikličete nazaj.
public_html Vaše domene. Ustvarite ali uredite ga prek Upravitelja datotek ali FTP. WordPress sam ustvari robots.txt, dokler datoteka ne obstaja, AI Builder pa jo ob objavi postavi sam. Kako robots.txt deluje, preberete v članku Kako stran izključiti iz Googla: robots.txt ali noindex?.3. Kaj je llms.txt?
llms.txt je predlog iz leta 2024 za besedilno datoteko na naslovu https://example.com/llms.txt. Vanjo v formatu Markdown zapišete kratek opis svojega spletnega mesta in povezave do najpomembnejših strani, da storitev UI hitro vidi, kje so prave informacije. Preprost primer:
# Pekarna Primer > Obrtna pekarna v Ljubljani s kruhom, pecivom in tortami po naročilu. ## Pomembne strani - [Ponudba](https://example.com/assortiment): kruh, pecivo in torte - [Naročilo](https://example.com/bestellen): naročilo in prevzem torte - [Kontakt](https://example.com/contact): naslov in delovni čas
Dobro je vedeti:
- llms.txt ni uradni standard, temveč predlog. Ni zagotovila, da storitve UI datoteko berejo. Google je sporočil, da je Google Iskanje ne uporablja.
- llms.txt ničesar ne blokira. Če želite robotom preprečiti dostop, uporabite robots.txt.
- Datoteka ne nastane sama: ustvarite jo sami ali pa jo ustvari vtičnik.
4. Ustvarjanje llms.txt v WordPressu
Znani vtičniki za SEO lahko llms.txt ustvarijo in posodabljajo namesto Vas:
- Yoast SEO: pojdite v Yoast SEO, Nastavitve, Funkcije spletnega mesta in pri funkcijah UI vklopite llms.txt. Strani lahko izbere Yoast ali pa jih določite sami.
- Rank Math: na Nadzorni plošči vtičnika Rank Math vklopite modul LLMS Txt. Nastavitve nato najdete pod Splošne nastavitve.
Imena menijev se razlikujejo glede na različico. Če možnosti ne vidite, posodobite vtičnik. Nato si datoteko oglejte na https://vasadomena.si/llms.txt.
Brez WordPressa datoteko ustvarite sami: besedilno datoteko llms.txt v mapi public_html, tako kot robots.txt.
Podrobna razlaga s posnetki zaslona: Zemljevid strani in robots.txt v WordPressu in na Vašem lastnem spletnem mestu in Zemljevid strani in robots.txt v AI Builderju v priročniku Najdljivost na spletu.
Želite izvedeti več? Obiščite brezplačni tečaj Najdljivost na spletu, lekcija 3.3 robots.txt: kaj blokirate in česa ne.