Tässä oppaassa käydään läpi, mikä on robots.txt-tiedosto, miksi se on hyödyllinen ja miten voit muokata sitä helposti cPanel-hallintapaneelin työkalujen avulla. Lisäksi käsitellään lyhyesti, miten .htaccess-tiedostoa voidaan käyttää tukemaan sivuston suojausta silloin, kun robots.txt-tiedosto ei yksin riitä.
Mikä on robots.txt-tiedosto ja miksi se kannattaa ottaa käyttöön?
Robots.txt-tiedosto on verkkosivustosi juurihakemistossa sijaitseva tekstiä sisältävä tiedosto. Se ohjeistaa hakukoneiden robotteja (kuten Googlebot ja Bingbot) sekä muita automaattisa verkkosivujen haravoijia. Tiedostossa kerrotaan, mihin sivuston osiin hakuboteilla on lupa mennä ja mitkä osat niiden tulisi jättää huomioimatta.
Miksi robots.txt-tiedostoa kannattaa käyttää?
Sivujen indeksoinnin hallinta: Voit estää hakukoneita näyttämästä hakutuloksissa sellaisia osioita, joita ei ole tarkoitettu julkisiksi (esim. ylläpidon kirjautumissivut, ostoskorit, hakuosiot).
Komentojonojen ja resurssien säästö: Estämällä tarpeettomien tiedostojen (esim. tiettyjen skriptien tai välimuistihakemistojen) haravoinnin säästät palvelimen suorituskykyä ja kaistanleveyttä.
Hakukoneoptimointi (SEO): Kun hakukoneet eivät käytä aikaansa epäolennaisten sivujen haravoimiseen, ne pystyvät indeksoimaan tärkeimmät sisällöt tehokkaammin.
Huomioitavaa: robots.txt-tiedosto toimii "herrasmiesperiaatteella". Hyvän tavan mukaiset hakukoneet noudattavat sen ohjeita, mutta haittaohjelmat tai muut pahantahtoisesti toimivat botit voivat jättää sen huomiotta. Tätä varten tarvitaan lisäsuojausta, kuten tarkempia määrittelyjä .htaccess-tiedostossa. Robots.txt-tiedosto ei siis ole ratkaisu kaikkea haittaliikennettä vastaan.
Hakukoneiden lisäksi sivustoja tutkivat innokkasti myös eri AI-toimijoiden botit. Näillä sivujen tutkimisilla koulutetaan tekoälyä erityisesti verkkokauppojen ja foorumien kohdalla.
Mistä tiedän käykö sivuillani robotteja?
cPanelista löytyvällä AWstatsilla voit tarkastella sivustollesi kohdistunutta liikennettä. Kohdassa Robotteja/"Spider" mainitaan bottiliikenne. Bottiliikenne on normaalia, mutta joissain tapauksessa liikennettä saattaa olla niin paljon, että se vaikuttaa jo sivuston toimintakykyyn, erityisesti verkkokaistan käyttöön.
Miten muokkaat robots.txt-tiedostoa cPanelissa
Seuraavien vaiheiden avulla voit luoda ja muokata robots.txt-tiedostoa suoraan Louhen webhotellin cPanel-hallintapaneelissa käyttäen Tiedostonhallintaa (File Manager).
Kirjaudu cPaneliin: Kirjaudu sisään cPanel-hallintapaneeliisi (esim. omadomain.fi/cpanel tai Louhen asiakassivujen kautta).
Avaa Tiedostonhallinta: Etsi Tiedostot-osio ja klikkaa kuvaketta Tiedostonhallinta (File Manager).
Siirry sivuston juurihakemistoon:
Ensisijaisen verkkosivustosi juurihakemisto on yleensä public_html.
Jos muokkaat rinnakkais- tai lisädomainia, siirry kyseisen domainin omaan kansioon.
Näytä piilotetut tiedostot (varmistus vaihetta 4 varten): Klikkaa oikeasta yläkulmasta Asetukset (Settings) ja varmista, että kohta "Näytä piilotetut tiedostot (dotfiles)" on valittuna. Tallenna asetukset.
Luo uusi tiedosto (jos tiedostoa ei vielä ole):
Klikkaa vasemmasta yläkulmasta + Tiedosto (+ File).
Anna tiedoston nimeksi täsmälleen robots.txt (pienillä kirjaimilla).
Varmista, että sijaintina on /public_html (tai kyseisen alidomainin kansio).
Klikkaa Create New File.
Muokkaa tiedostoa cPanelin tekstimuokkaimella:
Etsi robots.txt-tiedosto listauksesta ja klikkaa sitä hiiren oikealla painikkeella (tai valitse tiedosto ja klikkaa yläpalkista Muokkaa / Edit).
Vahvista muokkaus avautuvasta ikkunasta valitsemalla Edit.
Lisää haluamasi säännöt muokkainikkunaan (katso esimerkit alempaa).
Napsauta oikeasta yläkulmasta Tallenna muutokset (Save Changes).
Tarvittaessa pidempiä tekstejä voi jäsentää alemman tason otsikoilla. Myös vaakaviivaa voi käyttää jäsennykseen:
Esimerkkejä robots.txt-sisällöstä
Voit kopioida ja mukauttaa seuraavia esimerkkejä omiin tarpeisiisi tekstimuokkaimessa:
Esimerkki 1: Estä tietyt hakemistot kaikilta hakukoneilta
User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /lataukset/
Disallow: /yksityinen-kansio/
User-agent-rivi määrittelee, mille automaattiselle ohjelmalle eli botille/haravoijalle seuraavat säännöt on tarkoitettu. Asteriski (*) tarkoittaa villiä korttia (jokeri-merkkiä) eli kaikkia robotteja (kuten Googlebot, Bingbot, YandexBot jne.).
Tavalliset ihmiset, jotka vierailevat sivustollasi verkkoselaimella (Chrome, Firefox, Safari jne.), eivät ole robotteja, joten selaimet eivät välitä robots.txt-tiedostosta mitenkään. Ihmiskävijät pääsevät edelleen täysin normaalisti lukemaan kyseisiä hakemistoja ja sivuja.
Esimerkki 2: Salli kaikki muu, mutta estä haku- ja ostoskorisivut
User-agent: *
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://www.omadomain.fi/sitemap.xml
Vinkki: Voit lisätä tiedoston loppuun osoitteen sivustosi XML-sivustokarttaan (Sitemap), mikä auttaa hakukoneita löytämään oikeat sivut nopeammin.
Esimerkki 3: Estä koko sivuston indeksointi (esim. kehitysvaiheessa oleva sivusto)
User-agent: *
Disallow: /
4. Suojauksen täydentäminen .htaccess-tiedostolla
Kuten edellä mainittiin, robots.txt-tiedosto ilmaisee vain toiveen siitä, minne hakubotit saavat mennä. Jos haluat ehdottomasti estää pääsyn tiettyihin hakemistoihin tai torjua haitallisia botteja, tulee käyttää .htaccess-tiedostoa (Apache-palvelimen asetustiedosto).
Miten .htaccess tukee robots.txt-tiedostoa?
Salasanasuojaus tai IP-rajoitus: Voit rajoittaa pääsyn hallintapaneeleihin (kuten WordPressin wp-admin) vain määritetyistä IP-osoitteista.
Haitallisten bottien estäminen: Voit estää tunnetut roskapostibotit tai agressiiviset haravoijat suoraan palvelintasolla ennen kuin ne kuormittavat sivustoasi.
Tiedostojen fyysinen suojaaminen: Voit estää pääsyn tiettyihin tiedostotyyppeihin (esim. konfiguraatiotiedostot tai varmuuskopiot).
Esimerkki .htaccess-säännöstä haitallisen botin estämiseksi:
Löydät .htaccess-tiedoston samasta public_html-hakemistosta cPanelin tiedostonhallinnassa (muista laittaa piilotetut tiedostot näkyviin asetuksista). Voit lisätä tiedostoon esimerkiksi seuraavat rivit estääksesi tietyn botin pääsyn:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} BadBotName [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AnotherBadBot [NC]
RewriteRule ^.* - [F,L]
Tämä sääntö palauttaa määritellyille boteille välittömästi 403 Forbidden -virheen eikä päästä niitä lataamaan sivustosi sisältöä.
Yhteenveto
Käytä robots.txt-tiedostoa ohjaamaan hakukoneiden indeksointia ja säästämään palvelimen resursseja.
Määritä tiedosto helposti cPanelin Tiedostonhallinnan ja tekstimuokkaimen avulla.
Tue suojausta .htaccess-tiedostolla, kun kyseessä on kriittisen materiaalin suojaaminen tai haitallisten bottien estäminen.
Jos tarvitset lisäapua webhotellin hallinnassa tai määrityksissä, Louhen asiakaspalvelu ja tukisivusto ovat aina käytettävissäsi!