Šta robots.txt kontroliše, a šta ne može da zabrani?
Jednostavno rečeno: Robots.txt je fajl koji botovima kaže koje delove sajta ne treba da obilaze. Ne služi za skrivanje stranice iz Google rezultata — za to postoji noindex.Primer: Ako robots.txt zabrani stranicu, Google je može i dalje prikazati u rezultatima ako drugi sajtovi linkuju ka njoj, samo bez opisa.
`robots.txt` određuje koje URL putanje crawler (Google-ov robot koji obilazi i preuzima stranice) sme da zahteva na određenom hostu. Koristi se prvenstveno za upravljanje crawlingom, ne za pouzdano uklanjanje URL-a iz rezultata, zaštitu privatnih podataka ili canonicalizaciju. Blokiran URL i dalje može biti poznat i prikazan bez sadržajnog snippeta ako ga drugi dokumenti linkuju.
Šta robots.txt znači u praksi?
Robots Exclusion Protocol koristi datoteku na tačnoj root adresi hosta, na primer `https://example.com/robots.txt`. Grupe počinju direktivom `User-agent`, a pravila `Allow` i `Disallow` opisuju putanje. `Sitemap` može navesti apsolutnu adresu sitemap (spisak stranica koje sajt prijavljuje pretraživaču) datoteke. Pravilo na jednom subdomenu ili protokolu ne treba automatski smatrati pravilom za drugi host.
Google navodi da je svrha robots.txt upravljanje crawler saobraćajem. Ako je HTML stranica blokirana, Google ne može da pročita njen meta robots, canonical (oznaka koja kaže pretraživaču koja je „prava“ adresa kad ista stranica postoji na više adresa) ni glavni sadržaj. URL ipak može biti otkriven iz spoljnog ili internog linka i pojaviti se bez opisa. Za poverljive podatke potreban je pristup zasnovan na autentifikaciji ili drugoj stvarnoj kontroli; robots.txt je javna datoteka i dobrovoljan protokol za crawlere.
Kako se rešava sukob pravila u robots.txt?
Kada se na isti URL odnosi više pravila, ne pobeđuje ono koje je napisano prvo. Google primenjuje pravilo sa najdužom putanjom, a kada su pravila u sukobu — uključujući ona sa džoker znakovima — koristi manje restriktivno pravilo.
User-agent: *
Disallow: /admin/
Allow: /admin/javna-stranica/Ovde je putanja u pravilu Allow duža i zato pobeđuje: /admin/javna-stranica/ sme da se zahteva, dok ostatak /admin/ ne sme. Isti mehanizam radi i obrnuto: uz allow: /page i disallow: /*.htm, URL /page.htm ostaje zabranjen jer drugo pravilo pokriva više znakova.
Druga česta zabuna je izbor grupe. Crawler koristi tačno jednu grupu — onu sa najspecifičnijim podudaranjem svog imena, bez obzira na redosled u fajlu. Ako postoji grupa za Googlebot, pravila iz grupe sa zvezdicom se za njega ne primenjuju uopšte, čak ni ona koja u njegovoj grupi nisu ponovljena. Više grupa za isto ime crawlera se spajaju međusobno, ali se specifična grupa i globalna grupa nikada ne spajaju.
- Disallow bez vrednosti znači da ništa nije zabranjeno; Disallow: / znači da je sve zabranjeno
- putanje razlikuju velika i mala slova, dok imena polja ne razlikuju
- pravila važe po hostu, protokolu i portu; https://primer.rs i https://www.primer.rs čitaju različite fajlove
- podržana su samo polja user-agent, allow, disallow i sitemap; crawl-delay se ignoriše
robots.txt: koje elemente treba razlikovati?
| Element | Značenje ili atribut | Dokaz ili funkcija |
|---|---|---|
| Smanjiti crawling obrasca | `Disallow` u robots.txt | Crawler koji poštuje protokol neće zahtevati blokiranu putanju |
| Ukloniti HTML iz rezultata | `noindex` uz dozvoljen crawling (obilazak i preuzimanje stranica od strane pretraživača) | Crawler mora da preuzme dokument i vidi direktivu |
| Zaštititi privatni sadržaj | Autentifikacija ili uklanjanje javnog pristupa | robots.txt ne sprečava korisnika ili neposlušnog bota |
| Konsolidovati duplikate | Redirect (automatsko prebacivanje sa jedne adrese na drugu) ili `rel=canonical` | robots.txt nije canonical signal |
| Prijaviti sitemap | Apsolutna `Sitemap:` linija | Pomaže otkrivanju datoteke, ne menja URL status |
Oznake uz kriterijume (Zahtev, Potvrđena praksa, Urednička preporuka, Upozorenje, Hipoteza) pokazuju koliko je tvrdnja dokazana, a ne koliko je važna. Šta koja oznaka znači.
robots.txt: koji nivo primene je opravdan?
Kriterijum se određuje prema funkciji dokumenta, vrsti tvrdnje i riziku pogrešne primene.
| MoraPotvrđena praksa | Datoteku postaviti u root odgovarajućeg hosta, koristiti podržanu sintaksu i proveriti da pravilo ne blokira indeksabilan sadržaj ili resurse potrebne za renderovanje. |
|---|---|
| TrebaPotvrđena praksa | Održavati pravila što jednostavnijim, testirati konkretan URL i user-agent i dokumentovati poslovni razlog svake šire zabrane. |
| MožeUrednička preporuka | Navesti jedan ili više sitemap URL-ova i posebne grupe user-agenta kada različito ponašanje ima jasan tehnički razlog. |
| IzbegavatiUpozorenje | Upisivanje `noindex` direktive u robots.txt, blokiranje privatnih podataka umesto autentifikacije, korišćenje robots.txt za canonical i nasumično blokiranje CSS/JS resursa. |
robots.txt: primena korak po korak
Definiši cilj
Odredi da li želiš kontrolu crawlinga, indeksiranja, pristupa, duplikata ili otkrivanja; izaberi robots.txt samo za crawl zahtev.
Mapiraj obrasce
Popiši tačne putanje, hostove i user-agente i proveri da wildcard ili završni znak ne obuhvata važnije URL-ove.
Testiraj posledice
Za reprezentativne URL-ove proveri očekivano Allow/Disallow ponašanje i da li su CSS, JavaScript i slike potrebne za obradu dostupni.
Prati posle izmene
Proveri server logove, URL Inspection i neočekivane promene crawlinga; vrati pravilo ako blokira važan sadržaj.
robots.txt: kako proveriti rezultat?
Provera se radi na punoj kombinaciji user-agent + apsolutni URL + host. Čitanje jedne `Disallow` linije bez provere grupe, specifičnijeg `Allow` pravila i stvarne putanje nije dovoljno.
- `/robots.txt` vraća 200 i običan tekst na svakom hostu koji zahteva posebna pravila.
- Grupe user-agenta i obrasci putanja koriste podržanu sintaksu bez namernog `noindex` pravila.
- Indeksabilne stranice i resursi potrebni za njihov render nisu slučajno blokirani.
- Osetljiv sadržaj je zaštićen stvarnom kontrolom pristupa, ne javnom listom zabrana.
- Sitemap linije koriste apsolutne URL-ove koji vraćaju validan sitemap odgovor.
robots.txt: šta ovaj standard ne dokazuje?
Robots.txt je dobrovoljan protokol; zlonameran crawler ne mora da ga poštuje. Blokiranje može smanjiti crawling sadržaja, ali ne garantuje nestanak URL-a iz rezultata. Pravila se keširaju, pa promena ne mora biti vidljiva trenutno. Tumačenje detalja može se razlikovati među crawlerima, zbog čega se proveravaju ciljane platforme.
robots.txt: šta proveriti sledeće?
Povezani dokumenti rešavaju uži, zavisni ili sledeći korisnički zadatak u istom klasteru.
robots.txt: na kojim izvorima se zasniva?
- Google: uvod u robots.txtSvrha, ograničenja i razlika između crawlinga, indeksiranja i zaštite sadržaja.
- Google: izrada robots.txtLokacija datoteke, grupe, pravila i primeri implementacije.
- RFC 9309: Robots Exclusion ProtocolInternet standard za format, pronalaženje i parsiranje robots pravila.
Poslednja sadržajna provera: 1. septembar 2026.
Najčešća pitanja: robots.txt
Da li `Disallow` uklanja stranicu iz Google rezultata?
Ne pouzdano. Google može znati za blokiran URL iz linkova i prikazati ga bez sadržajnog snippeta. Za uklanjanje indeksabilnog dokumenta koristi se noindex uz dozvoljen crawl.
Da li robots.txt štiti lozinke i privatne fajlove?
Ne. Datoteka je javna i ne kontroliše pristup korisnika. Privatni sadržaj mora biti zaštićen autentifikacijom ili uklonjen iz javnog pristupa.
Treba li blokirati CSS i JavaScript?
Ne kada su potrebni da crawler renderuje i razume glavni sadržaj. Blokira se samo resurs čiji izostanak ne menja obradu važnog dokumenta.