Kako serverski logovi pokazuju stvarno ponašanje crawlera?
Jednostavno rečeno: Server beleži svaku posetu, uključujući Google-ovog robota. Iz tih zapisa vidite koje stranice Google stvarno posećuje, a koje preskače.Primer: Zapisi pokažu da Google robot svakodnevno obilazi stare stranice sa filterima, a nove usluge retko.
Serverski log beleži svaki zahtev koji je stigao do servera: adresu, vreme, status kod, veličinu odgovora i klijenta koji je zahtev poslao. Za SEO je to jedini izvor koji pokazuje šta je crawler stvarno tražio, umesto onoga što bi po sitemapu (spisak stranica koje sajt prijavljuje pretraživaču) i strukturi trebalo da traži.
Šta Log analiza znači u praksi?
Svaki HTTP zahtev ostavlja red u logu. Tipičan red sadrži IP adresu, vreme, metodu, traženi put, status kod, veličinu odgovora, referrer i user-agent. Kada se izdvoje samo zahtevi crawlera, dobija se slika koja se ne može dobiti nigde drugde: koje URL-ove bot posećuje, koliko često, kojim redosledom i sa kojim odgovorima.
Prva obavezna radnja je verifikacija. Bilo ko može poslati zahtev sa user-agentom koji tvrdi da je Googlebot. Google objavljuje dva pouzdana metoda: obrnuti DNS upit koji mora razrešiti na domen kompanije i zatim nazad na istu IP adresu, ili poređenje sa objavljenim listama IP opsega. Analiza bez verifikacije meša stvarnog bota sa skenerima i alatima.
Ono što se traži u podacima nisu apsolutni brojevi nego obrasci. Da li bot troši većinu zahteva na parametarske URL-ove koji ne treba da postoje? Da li važne stranice dobijaju zahtev jednom mesečno? Koliki udeo odgovora su 404 ili 5xx? Da li se posle izmene sitemapa nešto promenilo? Log odgovara na ta pitanja činjenično.
Kako se potvrđuje da je zahtev stvarno od Googlebota?
Niz user-agent se slobodno lažira i sam po sebi ne dokazuje ništa. Svaka analiza koja ga uzima zdravo za gotovo meša stvarni obilazak sa saobraćajem alata i botova koji se predstavljaju tuđim imenom.
- obrnuti DNS upit nad IP adresom iz loga — rezultat mora biti host u Google-ovom domenu
- direktni DNS upit nad dobijenim imenom — mora vratiti tačno onu IP adresu iz loga
Oba koraka su potrebna. Prvi bez drugog se može zaobići lažnim obrnutim zapisom. Alternativa je poređenje sa javno objavljenim opsezima IP adresa koje Google održava; brže je za velike količine podataka, ali zahteva da se lista redovno osvežava.
Praktična posledica: pre bilo kakvog zaključka o obilasku ili prioritetima crawlera, log se mora filtrirati. Bez toga se meri saobraćaj koji nema veze sa pretragom, a zaključci o tome kako crawler troši zahteve mogu poticati od potpuno drugog klijenta.
Koji nalazi se vide samo u logovima?
Analiza logova se odlaže jer deluje kao velik posao za nejasnu korist. Postoji nekoliko nalaza koji se ne vide ni u jednom drugom izvoru, i zbog njih se posao isplati.
| Nalaz | Zašto samo u logu |
|---|---|
| Crawler troši zahteve na parametrizovane URL-ove | izveštaji prikazuju stranice, ne zahteve |
| Stranice se obilaze, a nisu u sitemapu | sitemap (spisak stranica koje sajt prijavljuje pretraživaču) ne zna šta se stvarno traži |
| Deo sajta se ne obilazi mesecima | odsustvo se nigde ne prijavljuje |
| Odgovor servera se usporava po delovima sajta | prosek to sakriva |
| Zahtevi dolaze na stare, uklonjene adrese | vidi se tek kroz status kodove |
| Drugi botovi troše resurse | nije predmet nijednog SEO izveštaja |
Treći red je najvredniji i najlakše se previđa. Odsustvo se ne prijavljuje — nijedan alat ne javi da neki deo sajta nije obiđen. Vidi se samo poređenjem spiska obiđenih URL-ova sa spiskom postojećih.
Poslednji red nije SEO nalaz ali često finansira ceo posao. Kada se pokaže koliko saobraćaja troše botovi koji ne donose ništa, odluka o filtriranju se donosi brzo.
Log analiza: koje elemente treba razlikovati?
| Element | Značenje ili atribut | Dokaz ili funkcija |
|---|---|---|
| Traženi URL | Tačan put koji je bot zatražio | Otkriva parametarske i neplanirane URL-ove koje bot troši |
| Status kod | Odgovor servera na zahtev | Udeo 404, 5xx i 3xx pokazuje gubitak i lance preusmerenja |
| User-agent | Klijent koji tvrdi da šalje zahtev | Nepouzdan bez verifikacije; lako se lažira |
| Verifikacija | Obrnuti DNS ili objavljeni IP opsezi | Uslov da se zahtev uopšte pripiše Googlebotu |
| Učestalost | Broj zahteva po URL-u u periodu | Poređenje važnih i nevažnih stranica, ne apsolutni broj |
| Vreme odgovora | Koliko je server trošio po zahtevu | Sporost može smanjiti broj zahteva koje bot izvrši |
Oznake uz kriterijume (Zahtev, Potvrđena praksa, Urednička preporuka, Upozorenje, Hipoteza) pokazuju koliko je tvrdnja dokazana, a ne koliko je važna. Šta koja oznaka znači.
Log analiza: koji nivo primene je opravdan?
Kriterijum se određuje prema funkciji dokumenta, vrsti tvrdnje i riziku pogrešne primene.
| MoraPotvrđena praksa | Zahtevi pripisani Googlebotu moraju biti verifikovani obrnutim DNS upitom ili poređenjem sa objavljenim IP opsezima pre bilo kakvog zaključka. |
|---|---|
| TrebaPotvrđena praksa | Analizirati period dovoljno dug da obuhvati ciklus obilaska, razdvojiti botove po tipu, i uporediti listu traženih URL-ova sa listom iz sitemapa da bi se videlo šta se troši a nije planirano. |
| MožeUrednička preporuka | Log analizu ponavljati posle većih izmena — migracije, promene robots.txt-a, uvođenja filtera — kao pre/posle merenje ponašanja bota. |
| IzbegavatiUpozorenje | Zaključivanje o rangiranju iz broja zahteva, tumačenje pada broja zahteva kao kazne, i analizu neverifikovanih zahteva kao da su Googlebot. |
Log analiza: primena korak po korak
Obezbedi logove
Zatraži pristup sirovim logovima za period od najmanje nekoliko nedelja. CDN i reverse proxy mogu držati odvojene zapise.
Verifikuj botove
Izvrši obrnuti DNS upit ili uporedi IP adrese sa objavljenim opsezima. Neverifikovane zahteve izdvoj posebno.
Grupiši zahteve
Grupiši po šablonu URL-a, statusu i danu. Cilj je obrazac, ne pojedinačan red.
Uporedi sa planom
Uporedi tražene URL-ove sa sitemapom. Sve što bot traži a nije u planu je kandidat za blokiranje ili čišćenje.
Nađi gubitke
Izdvoj 404, 5xx i lance preusmerenja. To su zahtevi potrošeni bez rezultata.
Izmeni i ponovi
Napravi jednu izmenu, sačekaj period uporediv sa prvim, i ponovi merenje uz naveden period i spoljne faktore.
Log analiza: kako proveriti rezultat?
Zaključak iz logova je validan samo ako je bot verifikovan, period dovoljan i ako je jasno razdvojeno šta log pokazuje od onoga što se pretpostavlja.
- Svi zahtevi pripisani Googlebotu su verifikovani.
- Period analize obuhvata dovoljno dug ciklus, ne nekoliko dana.
- Botovi su razdvojeni po tipu; skeneri i alati nisu ubrojani.
- Tražani URL-ovi su upoređeni sa sitemapom i planiranom strukturom.
- Udeo 404, 5xx i preusmerenja je izračunat, ne procenjen.
- Nijedan zaključak o rangiranju nije izveden iz broja zahteva.
Log analiza: šta ovaj standard ne dokazuje?
Log pokazuje šta je traženo, ne šta je indeksirano ni kako je rangirano. Broj zahteva nije mera kvaliteta i njegov pad ne znači kaznu — može biti posledica manje izmena na sajtu, sezone ili promene rasporeda obilaska. Google ne objavljuje kako određuje ritam obilaska za pojedinačan sajt, pa se svaki zaključak o „crawl budžetu" mora označiti kao pretpostavka, ne kao mehanizam.
Log analiza: šta proveriti sledeće?
Povezani dokumenti rešavaju uži, zavisni ili sledeći korisnički zadatak u istom klasteru.
Log analiza: na kojim izvorima se zasniva?
- Google: verifikacija GooglebotaObrnuti DNS metod i objavljene liste IP opsega.
- Google: upravljanje crawl budžetomKada je crawl budžet uopšte relevantan i šta na njega utiče.
- Google: kako Search radiZvaničan opis crawlinga, indeksiranja i prikaza rezultata.
- Google Search EssentialsTehnički uslovi, pravila protiv zloupotrebe i osnove kvaliteta.
- Google Search Console: Crawl StatsZahtevi, veličina preuzimanja, vreme odgovora, host status i grupisanje crawl podataka.
- Google: HTTP statusi i mrežne greškeKako crawler tretira 2xx, redirect, 4xx, 5xx i mrežne ishode.
- Cloudflare: HTTP request log fieldsPrimer polja na CDN sloju, uključujući zahtev, odgovor, cache, origin i sigurnosne podatke.
Poslednja sadržajna provera: 1. septembar 2026.
Najčešća pitanja: Log analiza
Da li mi trebaju logovi ako imam Search Console?
Search Console daje agregatnu statistiku obilaska. Log daje pojedinačne zahteve sa tačnim URL-om i statusom, što je jedini način da se vidi koje neplanirane adrese bot troši.
Kako da znam da je zahtev stvarno od Googlebota?
Obrnutim DNS upitom koji mora razrešiti na Google-ov domen i zatim nazad na istu IP adresu, ili poređenjem sa objavljenim IP opsezima. User-agent sam po sebi ništa ne dokazuje.
Da li pad broja zahteva znači problem?
Ne nužno. Može biti posledica manjeg broja izmena, sezone ili promene rasporeda obilaska. Zaključak zahteva poređenje sa drugim signalima i naveden period.
Da li svaki Googlebot user-agent u logu zaista pripada Google-u?
Ne. User-agent se lako kopira. Zahtev proverite prema Google objavljenim IP opsezima ili reverse DNS pa forward DNS proceduri.
Da li status 200 u logu znači da je URL indeksiran?
Ne. Znači da je taj server ili CDN odgovorio uspešnim HTTP statusom na zahtev. Indeksiranje i izbor canonicala proveravaju se drugim izvorima.
Koliki period logova treba analizirati?
Najmanje toliko da obuhvati realni crawl ciklus važnih šablona i sedmičnu varijaciju. Velik i često crawl-ovan sajt može dati signal za nekoliko nedelja, a mali sajt zahteva duži period; pravilo se navodi pre analize.