GPTBot, PerplexityBot ja muut AI-botit: mitä kukin tekee, milloin esto on perusteltu ja miksi ne yleensä kannattaa päästää sisään. Valmis robots.txt-malli.
Kannattaako tekoälybotit päästää sivustolle vai estää? Näkyvyyttä tavoittelevalle yritykselle vastaus on lähes aina: päästä sisään. Estetty botti ei voi tuoda sivujasi tekoälyvastauksiin, ja se on nykyään sama kuin sulkisi ovet hakukoneelta. Poikkeuksia silti on, ja hallinta kannattaa tehdä tietoisesti eikä lisäosan oletusasetuksen varassa. Käyn läpi tärkeimmät botit, robots.txt-hallinnan ja sen, milloin esto on perusteltu.
Boteilla on eri tehtäviä, ja ero on päätöksen kannalta olennainen:
| Botti | Kuka | Tehtävä |
|---|---|---|
| GPTBot | OpenAI | kerää aineistoa mallien koulutukseen |
| OAI-SearchBot | OpenAI | indeksoi sivuja ChatGPT:n hakua varten |
| ChatGPT-User | OpenAI | hakee sivun kun käyttäjä pyytää sitä keskustelussa |
| PerplexityBot | Perplexity | indeksoi vastausten lähteiksi |
| ClaudeBot | Anthropic | kerää aineistoa koulutukseen |
| Google-Extended | ohjaa saako sisältöä käyttää Gemini-mallien koulutukseen — ei vaikuta hakuun eikä AI Overviews -näkyvyyteen |
Jako on karkeasti kahtia: koulutusbotit (GPTBot, ClaudeBot, Google-Extended) vaikuttavat siihen, oppivatko tulevat mallit sisällöstäsi. Hakubotit (OAI-SearchBot, PerplexityBot, ChatGPT-User) vaikuttavat siihen, pääsevätkö sivusi tämän päivän tekoälyvastauksiin lähteiksi. Näkyvyyden kannalta hakubotit ovat kriittisiä ja koulutusbotit strategisia.
Kun PerplexityBot ei pääse sivullesi, Perplexity ei voi siteerata sinua — se siteeraa kilpailijaa, jonka sivulle pääsi. Kun GPTBot on estetty, sisältösi ei päädy tulevien mallien koulutusaineistoon, ja mallien “muistissa” toimialaasi edustavat muut. Esto ei ole neutraali valinta vaan aktiivinen väistyminen juuri siitä kilpailusta, jota GEO-työ yrittää voittaa.
Yleisin ongelma ei silti ole tietoinen esto vaan vahinko: tietoturvalisäosa tai palomuuri blokkaa “tuntemattomat” botit oletuksena, eikä kukaan huomaa ennen kuin ihmettelee miksei yritys näy tekoälyvastauksissa. Siksi tarkistus kuuluu jokaiseen GEO-auditiin.
Kasvudiagnoosi kertoo minuutissa, onko pullonkaula näkyvyydessä, sivustolla vai mittauksessa.
Rehellisyyden nimissä estollekin on käyttötapauksia. Jos liiketoimintasi on sisältö itsessään — maksullinen media, kurssimateriaali, tietokanta — koulutusbottien esto on legitiimi tapa suojata sitä, ettei maksusisältösi arvo valu ilmaiseksi mallien muistiin. Moni media estää GPTBotin juuri tästä syystä. Silloinkin kannattaa harkita hakubottien päästämistä: ne tuovat viittausliikennettä, eivät vie sisältöä koulutukseen.
Palveluyritykselle, verkkokaupalle tai kenelle tahansa jonka sisältö on markkinointia, esto on oman näkyvyyden sabotointia ilman vastinetta.
Kaikki sallittu — jos tiedostossa ei ole estoja, mitään ei tarvitse tehdä. Valikoiva linja, jossa haku sallitaan ja koulutus estetään, näyttää tältä:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Kaksi muistutusta. robots.txt on pyyntö, ei lukko — asialliset toimijat kunnioittavat sitä, mutta se ei ole tekninen suoja. Ja esto kannattaa aina kirjata: kuka päätti, miksi, ja milloin asia katsotaan uudelleen. Vuoden takainen varovaisuuspäätös voi tänään maksaa näkyvyyttä, jota kukaan ei osaa yhdistää siihen.
Botti voi olla estetty kolmessa kerroksessa: robots.txt:ssä, palvelimen bottisuojauksessa ja CDN:n tai palomuurin säännöissä. Pelkkä robots.txt:n katsominen ei siis riitä. Varmin testi on hakea oma sivu botin user-agent-tunnisteella ja katsoa tuleeko 200 vai virhesivu. Jos tekninen testaus ei ole omaa heiniä, tämä on nopea toimeksianto kumppanille — meillä se kuuluu GEO-auditin vakiosisältöön.
Tämä erottelu ratkaisee koko keskustelun estämisestä, ja se menee usein sekaisin. Tekoälyyhtiöillä on käytännössä kahdenlaisia botteja, ja niillä on täysin eri vaikutus näkyvyyteesi.
Koulutusbotit keräävät aineistoa, jolla malleja opetetaan. Niiden vaikutus näkyy vasta seuraavassa mallisukupolvessa, kuukausien viiveellä, eikä yksittäisen sivuston osuus siinä ole suuri. Näiden estäminen on se päätös, jota tekijänoikeuskeskustelu koskee.
Hakubotit hakevat sivun silloin kun käyttäjä kysyy jotain juuri nyt. Ne tuovat sivustosi vastaukseen välittömästi, ja niiden estäminen poistaa sinut vastauksista saman tien. Perplexityn ja ChatGPT:n hakutoiminnot kuuluvat tähän ryhmään.
Käytännön johtopäätös: jos haluat näkyä tekoälyvastauksissa mutta et halua sisältöäsi koulutusaineistoon, voit estää koulutusbotit ja päästää hakubotit. Tämä on toimiva välimuoto, jota moni mediatalo käyttää. Se vaatii kuitenkin sen, että tunnistat kumpi botti on kumpi, ja lista muuttuu useita kertoja vuodessa.
robots.txt kertoo mitä olet sallinut. Se ei kerro mitä oikeasti tapahtuu. Sen näkee vain lokeista.
Suodata lokeista käyttäjäagentit, joissa esiintyy sana bot, ja katso mitkä niistä ovat tekoälypalveluita. Kiinnostavia lukuja on kolme: kuinka monta pyyntöä kukin botti tekee kuukaudessa, mille sivuille ne kohdistuvat, ja mikä vastauskoodi niille palautetaan. Viimeinen on tärkein. Jos botti saa vastauksena koodin 403 tai 429, se on estetty tai rajoitettu, vaikka robots.txt sallisi sen.
Tämä on yleisempi ongelma kuin luullaan. Palomuurit, CDN-palvelut ja bottisuojaukset estävät tekoälybotteja oletusarvoisesti, koska niiden liikennekuvio muistuttaa haavoittuvuusskannausta. Sivuston omistaja luulee päästävänsä botit sisään, mutta suojauskerros torjuu ne ennen kuin pyyntö ehtii palvelimelle. Jos lokeissa ei näy tekoälybotteja lainkaan, syy on todennäköisesti tämä eikä se, ettei sivustosta olla kiinnostuneita.
Näkyvyyttä tavoittelevalle yritykselle riittää tiedosto, joka sallii kaiken olennaisen ja sulkee pois vain toiminnalliset osoitteet.
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /kiitos/
Sitemap: https://omadomain.fi/sitemap_index.xml
Huomaa mitä tässä ei ole: yhtään tekoälybottia ei mainita erikseen, koska niitä ei ole tarpeen erotella silloin kun kaikki sallitaan. Hakutulossivut ja kiitossivut suljetaan pois, koska ne eivät tuo mitään vastaukseen ja kuluttavat turhaan indeksointibudjettia.
Jos haluat estää koulutuskäytön mutta sallia hakukäytön, lisää estot nimetysti ja pidä lista ajan tasalla. Muista myös, että robots.txt on julkinen tiedosto: kilpailijasi näkevät sen, ja siitä voi lukea aika paljon siitä, mitä sivustolla on ja mitä siellä pidetään arkaluonteisena.
Estopäätös tuntuu ilmaiselta, koska sen vaikutus ei näy missään mittarissa. Juuri siksi se kannattaa avata numeroina.
Kun estät hakubotin, menetät kaikki ne maininnat, joita palvelu olisi tehnyt yrityksestäsi kysymyksiin vastatessaan. Et näe menetystä analytiikassa, koska et koskaan saa niitä käyntejä. Et näe sitä myöskään hakukonenäkyvyydessä, koska Googlen sijoituksesi eivät muutu. Ainoa merkki on se, että kilpailijasi mainitaan vastauksissa ja sinä et.
Vastapainoksi saat sen, ettei sisältöäsi käytetä mallien koulutukseen. Jos liiketoimintasi perustuu sisällön myymiseen, tämä on aito ja perusteltu syy. Jos liiketoimintasi perustuu siihen että sinut löydetään, vaihtokauppa on huono. Useimmille pk-yrityksille jälkimmäinen pätee, ja siksi oletussuositus on päästää botit sisään.
Käy nämä viisi kohtaa läpi kerran, niin tiedät missä tilanteessa olet. Koko tarkistukseen menee noin puoli tuntia.
Bottien nimet, määrät ja käyttötarkoitukset ovat muuttuneet useaan kertaan viimeisen kahden vuoden aikana. Uusia palveluita tulee, vanhat jakautuvat useiksi boteiksi, ja osa yhtiöistä on lisännyt erillisen käyttäjäagentin sen mukaan käytetäänkö sisältöä koulutukseen vai vastaamiseen.
Tämä tarkoittaa, että kerran tehty määrittely vanhenee. Käytännöllisin tapa pysyä ajan tasalla ei ole seurata uutisia vaan katsoa omia lokeja kerran vuosineljänneksessä: sieltä näkee, mitkä botit sivustollasi todella käyvät ja onko listalle ilmestynyt nimiä joita et tunnista. Uusi tuntematon botti kannattaa tarkistaa ennen kuin sen estää, koska useimmiten kyse on palvelusta jonka vastauksissa haluaisit näkyä.
Jos luet tämän ja mietit mistä aloittaa, järjestys on tämä. Avaa ensin oma robots.txt ja katso mitä siellä lukee. Useimmiten se on kunnossa, ja silloin ongelma on muualla.
Pyydä sitten palvelinlokit tai pääsy niihin, ja katso kuukauden ajalta mitkä botit sivustolla käyvät ja mitä niille vastataan. Tämä yksi tarkistus paljastaa suurimman osan ongelmista, koska tyypillinen vika ei ole tietoinen esto vaan suojauskerroksen oletusasetus, jota kukaan ei ole säätänyt.
Kolmanneksi varmista, että sisältö on luettavissa ilman JavaScriptiä. Avaa muutama tärkeä sivu selaimen lukutilassa tai skriptit pois päältä, ja katso onko teksti yhä siellä. Jos ei ole, pääsyn salliminen ei auta mitään, koska botti näkee tyhjän sivun.
Jos tavoitteesi on näkyvyys tekoälyhauissa, ei. Esto on perusteltu lähinnä silloin, kun sisältö itsessään on maksullinen tuote jota et halua koulutusaineistoksi.
Ei. Google-Extended ohjaa vain sisällön käyttöä Gemini-mallien koulutukseen. Googlebot ja hakutulokset, mukaan lukien AI Overviews, toimivat siitä riippumatta.
Katso omadomain.fi/robots.txt ja etsi bottien nimiä Disallow-riveiltä. Tarkista lisäksi palomuurin ja tietoturvalisäosien asetukset — ne voivat estää botteja robots.txt:n ohi. Varmin testi on hakea sivu botin user-agent-tunnisteella.
Suuret toimijat — OpenAI, Anthropic, Google, Perplexity — ilmoittavat noudattavansa sitä. robots.txt ei silti ole tekninen suoja, vaan sopimus jonka asialliset noudattavat.
Yleisin syy on palomuuri, CDN tai bottisuojaus, joka torjuu pyynnön ennen palvelinta. Tarkista mitä vastauskoodia boteille palautetaan: 403 tai 429 tarkoittaa estoa suojauskerroksessa, jolloin robots.txt:n sisällöllä ei ole merkitystä.
Kyllä. Osalla palveluista on erilliset botit koulutusaineiston keruuseen ja reaaliaikaiseen hakuun, ja ne voi erottaa robots.txt:ssä nimeltä. Lista muuttuu useita kertoja vuodessa, joten määrittely vaatii ylläpitoa eikä ole kertaluonteinen toimenpide.
Bottien pääsyn tarkistus on osa GEO-analyysiämme — testaamme pääsyn oikeilla bottitunnisteilla kaikissa kerroksissa. Nopean nykytilakatsauksen saat AI-näkyvyystestillä.
Useat tekoälypalvelut hakevat vastauksensa Bingin indeksistä. Jos sivustosi puuttuu sieltä, jäät vastausten ulkopuolelle. Kolmen kohdan tarkistus vie vartin.
Kun tekoälyltä kysytään parasta palvelua paikkakunnalla, vastaus kootaan Google-profiilista, arvosteluista ja listauksista. Katso neljä tekoa jotka ratkaisevat.
B2B-ostaja pyytää tekoälyltä toimittajalistan ennen yhteydenottoa. Katso millä perusteella malli valitsee listalle ja miten erikoistuminen voittaa koon.
Kerro lyhyesti tilanteestasi. Vastaamme saman arkipäivän aikana, yleensä parissa tunnissa.
