Tehnički SEO

Kako serverski logovi pokazuju stvarno ponašanje crawlera?

Jednostavno rečeno: Server beleži svaku posetu, uključujući Google-ovog robota. Iz tih zapisa vidite koje stranice Google stvarno posećuje, a koje preskače.Primer: Zapisi pokažu da Google robot svakodnevno obilazi stare stranice sa filterima, a nove usluge retko.

Serverski log beleži svaki zahtev koji je stigao do servera: adresu, vreme, status kod, veličinu odgovora i klijenta koji je zahtev poslao. Za SEO je to jedini izvor koji pokazuje šta je crawler stvarno tražio, umesto onoga što bi po sitemapu (spisak stranica koje sajt prijavljuje pretraživaču) i strukturi trebalo da traži.

Direktan odgovor

Šta Log analiza znači u praksi?

Svaki HTTP zahtev ostavlja red u logu. Tipičan red sadrži IP adresu, vreme, metodu, traženi put, status kod, veličinu odgovora, referrer i user-agent. Kada se izdvoje samo zahtevi crawlera, dobija se slika koja se ne može dobiti nigde drugde: koje URL-ove bot posećuje, koliko često, kojim redosledom i sa kojim odgovorima.

Prva obavezna radnja je verifikacija. Bilo ko može poslati zahtev sa user-agentom koji tvrdi da je Googlebot. Google objavljuje dva pouzdana metoda: obrnuti DNS upit koji mora razrešiti na domen kompanije i zatim nazad na istu IP adresu, ili poređenje sa objavljenim listama IP opsega. Analiza bez verifikacije meša stvarnog bota sa skenerima i alatima.

Ono što se traži u podacima nisu apsolutni brojevi nego obrasci. Da li bot troši većinu zahteva na parametarske URL-ove koji ne treba da postoje? Da li važne stranice dobijaju zahtev jednom mesečno? Koliki udeo odgovora su 404 ili 5xx? Da li se posle izmene sitemapa nešto promenilo? Log odgovara na ta pitanja činjenično.

Pre svakog zaključka

Kako se potvrđuje da je zahtev stvarno od Googlebota?

Niz user-agent se slobodno lažira i sam po sebi ne dokazuje ništa. Svaka analiza koja ga uzima zdravo za gotovo meša stvarni obilazak sa saobraćajem alata i botova koji se predstavljaju tuđim imenom.

  • obrnuti DNS upit nad IP adresom iz loga — rezultat mora biti host u Google-ovom domenu
  • direktni DNS upit nad dobijenim imenom — mora vratiti tačno onu IP adresu iz loga

Oba koraka su potrebna. Prvi bez drugog se može zaobići lažnim obrnutim zapisom. Alternativa je poređenje sa javno objavljenim opsezima IP adresa koje Google održava; brže je za velike količine podataka, ali zahteva da se lista redovno osvežava.

Praktična posledica: pre bilo kakvog zaključka o obilasku ili prioritetima crawlera, log se mora filtrirati. Bez toga se meri saobraćaj koji nema veze sa pretragom, a zaključci o tome kako crawler troši zahteve mogu poticati od potpuno drugog klijenta.

Nalazi iz logova

Koji nalazi se vide samo u logovima?

Analiza logova se odlaže jer deluje kao velik posao za nejasnu korist. Postoji nekoliko nalaza koji se ne vide ni u jednom drugom izvoru, i zbog njih se posao isplati.

Nalaz i zašto se drugde ne vidi
NalazZašto samo u logu
Crawler troši zahteve na parametrizovane URL-oveizveštaji prikazuju stranice, ne zahteve
Stranice se obilaze, a nisu u sitemapusitemap (spisak stranica koje sajt prijavljuje pretraživaču) ne zna šta se stvarno traži
Deo sajta se ne obilazi mesecimaodsustvo se nigde ne prijavljuje
Odgovor servera se usporava po delovima sajtaprosek to sakriva
Zahtevi dolaze na stare, uklonjene adresevidi se tek kroz status kodove
Drugi botovi troše resursenije predmet nijednog SEO izveštaja

Treći red je najvredniji i najlakše se previđa. Odsustvo se ne prijavljuje — nijedan alat ne javi da neki deo sajta nije obiđen. Vidi se samo poređenjem spiska obiđenih URL-ova sa spiskom postojećih.

Poslednji red nije SEO nalaz ali često finansira ceo posao. Kada se pokaže koliko saobraćaja troše botovi koji ne donose ništa, odluka o filtriranju se donosi brzo.

Entiteti · atributi · dokaz

Log analiza: koje elemente treba razlikovati?

Polja u logu i šta se iz njih zaključuje
ElementZnačenje ili atributDokaz ili funkcija
Traženi URLTačan put koji je bot zatražioOtkriva parametarske i neplanirane URL-ove koje bot troši
Status kodOdgovor servera na zahtevUdeo 404, 5xx i 3xx pokazuje gubitak i lance preusmerenja
User-agentKlijent koji tvrdi da šalje zahtevNepouzdan bez verifikacije; lako se lažira
VerifikacijaObrnuti DNS ili objavljeni IP opseziUslov da se zahtev uopšte pripiše Googlebotu
UčestalostBroj zahteva po URL-u u perioduPoređenje važnih i nevažnih stranica, ne apsolutni broj
Vreme odgovoraKoliko je server trošio po zahtevuSporost može smanjiti broj zahteva koje bot izvrši

Oznake uz kriterijume (Zahtev, Potvrđena praksa, Urednička preporuka, Upozorenje, Hipoteza) pokazuju koliko je tvrdnja dokazana, a ne koliko je važna. Šta koja oznaka znači.

MORA · TREBA · MOŽE

Log analiza: koji nivo primene je opravdan?

Kriterijum se određuje prema funkciji dokumenta, vrsti tvrdnje i riziku pogrešne primene.

Kriterijumi za Log analiza
MoraPotvrđena praksaZahtevi pripisani Googlebotu moraju biti verifikovani obrnutim DNS upitom ili poređenjem sa objavljenim IP opsezima pre bilo kakvog zaključka.
TrebaPotvrđena praksaAnalizirati period dovoljno dug da obuhvati ciklus obilaska, razdvojiti botove po tipu, i uporediti listu traženih URL-ova sa listom iz sitemapa da bi se videlo šta se troši a nije planirano.
MožeUrednička preporukaLog analizu ponavljati posle većih izmena — migracije, promene robots.txt-a, uvođenja filtera — kao pre/posle merenje ponašanja bota.
IzbegavatiUpozorenjeZaključivanje o rangiranju iz broja zahteva, tumačenje pada broja zahteva kao kazne, i analizu neverifikovanih zahteva kao da su Googlebot.
Proces

Log analiza: primena korak po korak

  1. Obezbedi logove

    Zatraži pristup sirovim logovima za period od najmanje nekoliko nedelja. CDN i reverse proxy mogu držati odvojene zapise.

  2. Verifikuj botove

    Izvrši obrnuti DNS upit ili uporedi IP adrese sa objavljenim opsezima. Neverifikovane zahteve izdvoj posebno.

  3. Grupiši zahteve

    Grupiši po šablonu URL-a, statusu i danu. Cilj je obrazac, ne pojedinačan red.

  4. Uporedi sa planom

    Uporedi tražene URL-ove sa sitemapom. Sve što bot traži a nije u planu je kandidat za blokiranje ili čišćenje.

  5. Nađi gubitke

    Izdvoj 404, 5xx i lance preusmerenja. To su zahtevi potrošeni bez rezultata.

  6. Izmeni i ponovi

    Napravi jednu izmenu, sačekaj period uporediv sa prvim, i ponovi merenje uz naveden period i spoljne faktore.

Kontrolna lista

Log analiza: kako proveriti rezultat?

Zaključak iz logova je validan samo ako je bot verifikovan, period dovoljan i ako je jasno razdvojeno šta log pokazuje od onoga što se pretpostavlja.

  • Svi zahtevi pripisani Googlebotu su verifikovani.
  • Period analize obuhvata dovoljno dug ciklus, ne nekoliko dana.
  • Botovi su razdvojeni po tipu; skeneri i alati nisu ubrojani.
  • Tražani URL-ovi su upoređeni sa sitemapom i planiranom strukturom.
  • Udeo 404, 5xx i preusmerenja je izračunat, ne procenjen.
  • Nijedan zaključak o rangiranju nije izveden iz broja zahteva.
Granice zaključka

Log analiza: šta ovaj standard ne dokazuje?

Log pokazuje šta je traženo, ne šta je indeksirano ni kako je rangirano. Broj zahteva nije mera kvaliteta i njegov pad ne znači kaznu — može biti posledica manje izmena na sajtu, sezone ili promene rasporeda obilaska. Google ne objavljuje kako određuje ritam obilaska za pojedinačan sajt, pa se svaki zaključak o „crawl budžetu" mora označiti kao pretpostavka, ne kao mehanizam.

Hub · spoke · sibling

Log analiza: šta proveriti sledeće?

Povezani dokumenti rešavaju uži, zavisni ili sledeći korisnički zadatak u istom klasteru.

Primarni izvori

Log analiza: na kojim izvorima se zasniva?

Poslednja sadržajna provera: 1. septembar 2026.

Česta pitanja

Najčešća pitanja: Log analiza

Da li mi trebaju logovi ako imam Search Console?

Search Console daje agregatnu statistiku obilaska. Log daje pojedinačne zahteve sa tačnim URL-om i statusom, što je jedini način da se vidi koje neplanirane adrese bot troši.

Kako da znam da je zahtev stvarno od Googlebota?

Obrnutim DNS upitom koji mora razrešiti na Google-ov domen i zatim nazad na istu IP adresu, ili poređenjem sa objavljenim IP opsezima. User-agent sam po sebi ništa ne dokazuje.

Da li pad broja zahteva znači problem?

Ne nužno. Može biti posledica manjeg broja izmena, sezone ili promene rasporeda obilaska. Zaključak zahteva poređenje sa drugim signalima i naveden period.

Da li svaki Googlebot user-agent u logu zaista pripada Google-u?

Ne. User-agent se lako kopira. Zahtev proverite prema Google objavljenim IP opsezima ili reverse DNS pa forward DNS proceduri.

Da li status 200 u logu znači da je URL indeksiran?

Ne. Znači da je taj server ili CDN odgovorio uspešnim HTTP statusom na zahtev. Indeksiranje i izbor canonicala proveravaju se drugim izvorima.

Koliki period logova treba analizirati?

Najmanje toliko da obuhvati realni crawl ciklus važnih šablona i sedmičnu varijaciju. Velik i često crawl-ovan sajt može dati signal za nekoliko nedelja, a mali sajt zahteva duži period; pravilo se navodi pre analize.