Kas keegi on tundnud huvi, milleks on  juurkataloogis fail robots.txt ja milleks see vajalik on ?

Seda faili robots.txt kasutatakse mingite failide/kataloogide kaitsemiseks või teisisõnu ei avaldata määratuid faile otsingumootoritele. Teine funktsioon milleks saab veel robots.txt faili kasutada on kaitsta ennast halbade botide eest ehk teisisõnu võimalus kaitsa oma saiti spämmi eest ja salastaud failide/kataloogide avalikustamise eest.

Tihtipeale koguvad botid sinu saidilt emaili aadresse ja pärast imestadakse kust tulevad igasugused spämmi emailid. Samas võid tihtipeale ka suvalistest otsingu mootoritest leida oma saidi linke, mida ei sooviks kuvada avalikult.

Järgnev juhend seletab lahti, kuidas kastatda robots.txt faili ning järgnevat juhendit võib kasutada ka ükskõik millises muus veebi struktuuris.

Süntaksist, mida kasutadakse robots.txt failis on limiteeritud ja väga lihtne mõista. Esimene osa juhendist määrab ära milliseid roboteid/bote lubatakse tuhnima sinu saidile.

User-agent: BotiNimi

Asenda BotiNimi roboti nimega. Näiteks User-agent: Googlebot
Kõikide botide lubamiseks kasuta * tärni.

User-agent: *

Teine osa juhendist käsitleb kindlate failide/kataloogide peitmist robotite/botide eest. Kasuta alljärgnevat näidet failidest ja kataloogidest, mida soovid kaitsta.

Disallow: /cgi-bin/

Selle näite järgi ei sisene keelatud kataloogi /cgi-bin/ robotid ja botid edasi. Kui katalooge on rohkem kui üks, siis kasuta iga kataloogi ees Disallow süntaksit.

User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /private/

Kataloogide juurde võid ka lisada vabalt faili nimesi, mida sa ei soovi avalikustada otsingute mootorites.

User-agent: *
Disallow: /admin.php
Disallow: /config.php
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /private/

Juhul, kui soovid tervet oma saiti keelata kindlate bottite eest siis kasuta alljärgnevat näidet. Iga boti puhul tuleks lisada peale vaba rida uus boti nimi.

User-agent: BotiNimi1
Disallow: /

User-agent: BotiNimi2
Disallow: /

Juhul, kui sinu saiti võivad kõik botid külastada, siis kasuta alljärgnevat näidet.

User-agent: *
Disallow:

Mõnigad populaarsemate otsingmootorite/bottide nimed, mida nimetatakse ka tänapäeval "spiders".

Roboti nimi <-> Otsingumootori nimi
Googlebot <-> Google
Googlebot-Image <-> Google Images
Slurp <-> Inktomi
ZyBorg <-> WiseNut/LookSmart
fast <-> Fast/AllTheWeb
Openbot <-> OpenFind
Scooter <-> Alta Vista

Botid, mida kasutavad spämmerid. Alusta User-Agent süntaksiga.

EmailSiphon
EmailWolf
ExtractorPro
CherryPicker
NICErsPRO
Teleport
EmailCollector

Sul on ka võimalus testida, kas sinu robots.txt fail on korrektne ja keda lubatakse ligi ja keda mitte. Järgnevas lingis on võimalus testida oma robots.txt faili ja näha ka vigu, kui neid peaks esinema http://tool.motoricerca.info/robots-checker.phtml
Sisesta sellel lehel oma saidi aadress http:/www.SinuSait.ee/robots.txt koos robots.txt failiga. Vead, mida tuleks remontida märgitakse ära punases lahtris.