Mikä on Robots.txt tiedosto?
Robots.txt on tiedosto, jonka avulla voidaan ohjata hakukoneiden robotteja sivun indeksoinnissa. Tiedoston avulla voit joko sallia tai estää hakukoneita löytämään sivustosi ja antamalla niille luvan indeksoida sivusi nettiin.
Tiedosto ei todellisuudessa estä kaikkia hakukoneita ja ne eivät välttämättä toimi haluamallasi tavalla. Pääsääntöisesti ne noudattavat Robots.txt tiedoston ohjeita sivuston indeksoinnissa.
Tiedoston avulla voit halutessasi antaa erilaisia ohjeita hakukoneille.
Missä tiedosto sijaitsee
Tiedosto tulee aina lisätä palvelimen päähakemistoon eli juurihakemistoon. Tiedoston URL on seuraava: https://www.digivinkit.fi/robots.txt
Robots.txt tiedosto ja yleisimmät komennot
Olemme listanneet yleisempiä komentoja, joita voit käyttää Robots.txt tiedostossa.
User-agent: * [tarkoittaa kaikkia hakukoneita]
Disallow: / [URL-merkkijono jota ei indeksoida]
Allow: / [URL-merkkijono joka indeksoidaan]
Estä koko sivuston tai webbi-sivun indeksointi
User-agent: * Disallow: /
Salli koko sivuston tai webbi-sivun indeksointi
User-agent: * Allow: /
Estä hakemiston indeksointi
Yhden hakemiston estäminen tapahtuu seuraavasti. Esimerkissä estämme hakukoneita indeksoimasta hakemiston /kuvat.
Kuvat hakemiston URL on seuraava: http://www.sivu.fi/kuvat/.
User-agent: * Disallow: /kuvat/
Sivun indeksoinnin estäminen
Aikaisemmin estimme hakukoneita löytämästä kansiota / hakemistoa mutta voit estää myös yhden ainoan sivun indeksoinnin.
Esimerkissä estetään sivun sivu1.html indeksointi, joka on /kuvat hakemistossa.
User-agent: * Disallow: /kuvat/sivu1.html
Sivun indeksoinnin salliminen
Esimerkissä sallitaan sivun sivu1.html indeksointi, joka sijaitsee hakemistossa /kuvat. Kansion /kuvat indeksointi on estetty mutta sallitaan sivun sivu1.html indeksointi estetystä kansiosta.
User-agent: * Disallow: /kuvat Allow: /kuvat/sivu1.html
Sivukartta parametri
Jos haluat helpottaa sivustokarttatiedostosi automaattista löytämistä robots.txt tiedoston kautta, niin sinun tarvitsee vain ilmoittaa URL-osoite robots.txt tiedostossa.
Sitemap: https://www.digivinkit.fi/sitemap.xml User-agent:* Disallow
WordPress sivustolle tarkoitettu sivukartta
Tässä on esimerkki pohja sivukartalle, joka toimii WordPress sivustossa. Voit lisätä siihen lisää omia hakemistoja, joita et halua hakukoneiden indeksoivan.
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /wp-content/plugins/
Tiedoston testaaminen
Voit testata ja varmistaa Robots.txt tiedoston toimivuuden esimerkiksi täällä: Robots.txt tester
