Tehnički SEO

Šta robots.txt kontroliše, a šta ne može da zabrani?

Jednostavno rečeno: Robots.txt je fajl koji botovima kaže koje delove sajta ne treba da obilaze. Ne služi za skrivanje stranice iz Google rezultata — za to postoji noindex.Primer: Ako robots.txt zabrani stranicu, Google je može i dalje prikazati u rezultatima ako drugi sajtovi linkuju ka njoj, samo bez opisa.

`robots.txt` određuje koje URL putanje crawler (Google-ov robot koji obilazi i preuzima stranice) sme da zahteva na određenom hostu. Koristi se prvenstveno za upravljanje crawlingom, ne za pouzdano uklanjanje URL-a iz rezultata, zaštitu privatnih podataka ili canonicalizaciju. Blokiran URL i dalje može biti poznat i prikazan bez sadržajnog snippeta ako ga drugi dokumenti linkuju.

Direktan odgovor

Šta robots.txt znači u praksi?

Robots Exclusion Protocol koristi datoteku na tačnoj root adresi hosta, na primer `https://example.com/robots.txt`. Grupe počinju direktivom `User-agent`, a pravila `Allow` i `Disallow` opisuju putanje. `Sitemap` može navesti apsolutnu adresu sitemap (spisak stranica koje sajt prijavljuje pretraživaču) datoteke. Pravilo na jednom subdomenu ili protokolu ne treba automatski smatrati pravilom za drugi host.

Google navodi da je svrha robots.txt upravljanje crawler saobraćajem. Ako je HTML stranica blokirana, Google ne može da pročita njen meta robots, canonical (oznaka koja kaže pretraživaču koja je „prava“ adresa kad ista stranica postoji na više adresa) ni glavni sadržaj. URL ipak može biti otkriven iz spoljnog ili internog linka i pojaviti se bez opisa. Za poverljive podatke potreban je pristup zasnovan na autentifikaciji ili drugoj stvarnoj kontroli; robots.txt je javna datoteka i dobrovoljan protokol za crawlere.

Redosled prvenstva

Kako se rešava sukob pravila u robots.txt?

Kada se na isti URL odnosi više pravila, ne pobeđuje ono koje je napisano prvo. Google primenjuje pravilo sa najdužom putanjom, a kada su pravila u sukobu — uključujući ona sa džoker znakovima — koristi manje restriktivno pravilo.

User-agent: *
Disallow: /admin/
Allow: /admin/javna-stranica/

Ovde je putanja u pravilu Allow duža i zato pobeđuje: /admin/javna-stranica/ sme da se zahteva, dok ostatak /admin/ ne sme. Isti mehanizam radi i obrnuto: uz allow: /page i disallow: /*.htm, URL /page.htm ostaje zabranjen jer drugo pravilo pokriva više znakova.

Druga česta zabuna je izbor grupe. Crawler koristi tačno jednu grupu — onu sa najspecifičnijim podudaranjem svog imena, bez obzira na redosled u fajlu. Ako postoji grupa za Googlebot, pravila iz grupe sa zvezdicom se za njega ne primenjuju uopšte, čak ni ona koja u njegovoj grupi nisu ponovljena. Više grupa za isto ime crawlera se spajaju međusobno, ali se specifična grupa i globalna grupa nikada ne spajaju.

  • Disallow bez vrednosti znači da ništa nije zabranjeno; Disallow: / znači da je sve zabranjeno
  • putanje razlikuju velika i mala slova, dok imena polja ne razlikuju
  • pravila važe po hostu, protokolu i portu; https://primer.rs i https://www.primer.rs čitaju različite fajlove
  • podržana su samo polja user-agent, allow, disallow i sitemap; crawl-delay se ignoriše
Entiteti · atributi · dokaz

robots.txt: koje elemente treba razlikovati?

Cilj kontrole i odgovarajući mehanizam
ElementZnačenje ili atributDokaz ili funkcija
Smanjiti crawling obrasca`Disallow` u robots.txtCrawler koji poštuje protokol neće zahtevati blokiranu putanju
Ukloniti HTML iz rezultata`noindex` uz dozvoljen crawling (obilazak i preuzimanje stranica od strane pretraživača)Crawler mora da preuzme dokument i vidi direktivu
Zaštititi privatni sadržajAutentifikacija ili uklanjanje javnog pristuparobots.txt ne sprečava korisnika ili neposlušnog bota
Konsolidovati duplikateRedirect (automatsko prebacivanje sa jedne adrese na drugu) ili `rel=canonical`robots.txt nije canonical signal
Prijaviti sitemapApsolutna `Sitemap:` linijaPomaže otkrivanju datoteke, ne menja URL status

Oznake uz kriterijume (Zahtev, Potvrđena praksa, Urednička preporuka, Upozorenje, Hipoteza) pokazuju koliko je tvrdnja dokazana, a ne koliko je važna. Šta koja oznaka znači.

MORA · TREBA · MOŽE

robots.txt: koji nivo primene je opravdan?

Kriterijum se određuje prema funkciji dokumenta, vrsti tvrdnje i riziku pogrešne primene.

Kriterijumi za robots.txt
MoraPotvrđena praksaDatoteku postaviti u root odgovarajućeg hosta, koristiti podržanu sintaksu i proveriti da pravilo ne blokira indeksabilan sadržaj ili resurse potrebne za renderovanje.
TrebaPotvrđena praksaOdržavati pravila što jednostavnijim, testirati konkretan URL i user-agent i dokumentovati poslovni razlog svake šire zabrane.
MožeUrednička preporukaNavesti jedan ili više sitemap URL-ova i posebne grupe user-agenta kada različito ponašanje ima jasan tehnički razlog.
IzbegavatiUpozorenjeUpisivanje `noindex` direktive u robots.txt, blokiranje privatnih podataka umesto autentifikacije, korišćenje robots.txt za canonical i nasumično blokiranje CSS/JS resursa.
Proces

robots.txt: primena korak po korak

  1. Definiši cilj

    Odredi da li želiš kontrolu crawlinga, indeksiranja, pristupa, duplikata ili otkrivanja; izaberi robots.txt samo za crawl zahtev.

  2. Mapiraj obrasce

    Popiši tačne putanje, hostove i user-agente i proveri da wildcard ili završni znak ne obuhvata važnije URL-ove.

  3. Testiraj posledice

    Za reprezentativne URL-ove proveri očekivano Allow/Disallow ponašanje i da li su CSS, JavaScript i slike potrebne za obradu dostupni.

  4. Prati posle izmene

    Proveri server logove, URL Inspection i neočekivane promene crawlinga; vrati pravilo ako blokira važan sadržaj.

Kontrolna lista

robots.txt: kako proveriti rezultat?

Provera se radi na punoj kombinaciji user-agent + apsolutni URL + host. Čitanje jedne `Disallow` linije bez provere grupe, specifičnijeg `Allow` pravila i stvarne putanje nije dovoljno.

  • `/robots.txt` vraća 200 i običan tekst na svakom hostu koji zahteva posebna pravila.
  • Grupe user-agenta i obrasci putanja koriste podržanu sintaksu bez namernog `noindex` pravila.
  • Indeksabilne stranice i resursi potrebni za njihov render nisu slučajno blokirani.
  • Osetljiv sadržaj je zaštićen stvarnom kontrolom pristupa, ne javnom listom zabrana.
  • Sitemap linije koriste apsolutne URL-ove koji vraćaju validan sitemap odgovor.
Granice zaključka

robots.txt: šta ovaj standard ne dokazuje?

Robots.txt je dobrovoljan protokol; zlonameran crawler ne mora da ga poštuje. Blokiranje može smanjiti crawling sadržaja, ali ne garantuje nestanak URL-a iz rezultata. Pravila se keširaju, pa promena ne mora biti vidljiva trenutno. Tumačenje detalja može se razlikovati među crawlerima, zbog čega se proveravaju ciljane platforme.

Hub · spoke · sibling

robots.txt: šta proveriti sledeće?

Povezani dokumenti rešavaju uži, zavisni ili sledeći korisnički zadatak u istom klasteru.

Primarni izvori

robots.txt: na kojim izvorima se zasniva?

Poslednja sadržajna provera: 1. septembar 2026.

Česta pitanja

Najčešća pitanja: robots.txt

Da li `Disallow` uklanja stranicu iz Google rezultata?

Ne pouzdano. Google može znati za blokiran URL iz linkova i prikazati ga bez sadržajnog snippeta. Za uklanjanje indeksabilnog dokumenta koristi se noindex uz dozvoljen crawl.

Da li robots.txt štiti lozinke i privatne fajlove?

Ne. Datoteka je javna i ne kontroliše pristup korisnika. Privatni sadržaj mora biti zaštićen autentifikacijom ili uklonjen iz javnog pristupa.

Treba li blokirati CSS i JavaScript?

Ne kada su potrebni da crawler renderuje i razume glavni sadržaj. Blokira se samo resurs čiji izostanak ne menja obradu važnog dokumenta.