Čim bolje izkoristite svoje datoteke dnevnika PHP: Praktični vodnik

Prav tako želimo slediti, kateri krmilniki se prikličejo, zato dodajte še eno vrstico v PROD, takoj na začetku AcmeDemoBundleEventListenerControllerListener metoda:

Upoštevajte, da te spremembe sestavljajo zgolj 15 dodatnih vrstic kode, vendar lahko skupaj dajo veliko informacij.

Analiziranje podatkov v dnevniških datotekah

Za začetek poglejmo, koliko zahtev HTTP je potrebnih za nalaganje posamezne strani.

Tu so informacije v dnevnikih za eno zahtevo glede na način, kako smo konfigurirali beleženje:

Zdaj vemo, da je vsakemu nalaganju strani dejansko vročeno dve zahtevi HTTP.

Pravzaprav je treba omeniti dve točki. Prvič, dve zahtevi na nalaganje strani sta za uporabo Symfonyja v načinu za razvijalce (kar sem počel v tem članku). Klice v načinu za razvijanje lahko prepoznate tako, da poiščete Mar 3 12:04:20 log-sandbox 54f58724b1ccc: BEGIN Mar 3 12:04:20 log-sandbox 54f58724b1ccc: URI /app_dev.php/ Mar 3 12:04:20 log-sandbox 54f58724b1ccc: CLIENT 192.168.56.1 1b101cd Mar 3 12:04:20 log-sandbox 54f58724b1ccc: MODE DEV Mar 3 12:04:23 log-sandbox 54f58724b1ccc: CONTROLLER AcmeDemoBundleControllerWelcomeController Mar 3 12:04:25 log-sandbox 54f58724b1ccc: DISPATCH TIME 4.51 Mar 3 12:04:25 log-sandbox 54f58724b1ccc: END Mar 3 12:04:25 log-sandbox 54f5872967dea: BEGIN Mar 3 12:04:25 log-sandbox 54f5872967dea: URI /app_dev.php/_wdt/59b8b6 Mar 3 12:04:25 log-sandbox 54f5872967dea: CLIENT 192.168.56.1 1b101cd Mar 3 12:04:25 log-sandbox 54f5872967dea: MODE DEV Mar 3 12:04:28 log-sandbox 54f5872967dea: CONTROLLER SymfonyBundleWebProfilerBundleControllerProfilerController Mar 3 12:04:29 log-sandbox 54f5872967dea: DISPATCH TIME 4.17 Mar 3 12:04:29 log-sandbox 54f5872967dea: END Kosi URL-jev. Drugič, recimo, da je vsakemu nalaganju strani na voljo dve poznejši zahtevi za aplikacijo Symfony. Kot smo že videli v dnevnikih dostopa nginx, je dejansko več klicev HTTP, od katerih so nekateri namenjeni statični vsebini.

V redu, zdaj pobrskajmo na predstavitvenem spletnem mestu (za zbiranje podatkov v dnevniških datotekah) in poglejmo, kaj se še lahko naučimo iz teh dnevnikov.

Koliko zahtev je bilo vročenih skupaj od začetka dnevniške datoteke?

Je kdo od njih odpovedal (se je scenarij zaprl, ne da bi prišel do konca)?

Vidimo, da je število # grep -c END info.log 10 in BEGIN zapisov se ujema, zato nam to pove, da so bili vsi klici uspešni. (Če se skript PHP ne bi uspešno končal, ne bi dosegel izvedbe END skripta.)

Kolikšen je bil odstotek zahtev za koren strani?

To nam pove, da je bilo koren strani naloženih 2 strani. Ker smo že izvedeli, da (a) obstajata dve zahtevi za aplikacijo na nalaganje strani in (b) je bilo skupaj 10 zahtev HTTP, je bil odstotek zahtev za koren spletnega mesta 40% (tj. 2x2 / 10).

Kateri razred krmilnika je odgovoren za vročanje zahtev korenu spletnega mesta?

Tu smo uporabili enolični ID zahteve za preverjanje vseh dnevniških sporočil, povezanih s to eno samo zahtevo. S tem smo lahko ugotovili, da je razred krmilnika, odgovoren za vročanje zahtev korenu spletnega mesta, # grep -E 's/$|s/app_dev.php/$' info.log | head -n1 Mar 3 12:04:20 log-sandbox 54f58724b1ccc: URI /app_dev.php/ # grep 54f58724b1ccc info.log | grep CONTROLLER Mar 3 12:04:23 log-sandbox 54f58724b1ccc: CONTROLLER AcmeDemoBundleControllerWelcomeController .

Kateri odjemalci z IP-ji podomrežja AcmeDemoBundleControllerWelcomeController ste dostopali do spletnega mesta?

Kot je bilo pričakovano v tem preprostem testnem primeru, je spletno mesto dostopal samo moj gostiteljski računalnik. To je seveda zelo poenostavljen primer, vendar je sposobnost, ki jo kaže (zmožnost analiziranja virov prometa na vašem spletnem mestu), očitno zelo močna in pomembna.

Koliko prometa na mojem spletnem mestu je prispeval FireFox?

Ob # grep CLIENT info.log | cut -d':' -f4 | cut -f2 | sort | uniq 192.168.56.1 kot razpršilnik mojega uporabniškega agenta Firefox lahko na to vprašanje odgovorim na naslednji način:

Odgovor: 80% (tj. 8/10)

Kolikšen je odstotek zahtev, ki so se počasi odzvale?

Za namene tega primera bomo opredelili izraz »počasi« kot odziv, ki traja več kot 5 sekund. V skladu s tem:

Odgovor: 20% (tj. 2/10)

Je kdo kdaj ponudil parametre GET?

Ne, standard Symfony uporablja samo URL polže, zato nam to tudi tukaj pove, da nihče ni poskušal vdreti v spletno mesto.

To je le peščica razmeroma osnovnih primerov načinov, kako lahko datoteke dnevnikov ustvarjalno izkoristite, da dobite dragocene informacije o uporabi in celo osnovno analitiko.

Druge stvari, ki jih je treba upoštevati

Ohranjanje stvari na varnem

Še ena napoved je za varnost. Morda mislite, da je prijava zahtev dobra ideja, v večini primerov pa res. Vendar je pomembno, da ste izjemno previdni pri odstranjevanju morebitnih občutljivih podatkov o uporabniku, preden jih shranite v dnevnik.

Boj proti napihnjeni datoteki dnevnika

Ker so dnevniške datoteke besedilne datoteke, ki jim vedno priloži informacije, nenehno rastejo. Ker gre za dobro znano težavo, obstaja nekaj precej standardnih pristopov k nadzoru rasti dnevniških datotek.

Najlažje je zavrtite hlode . Vrteči se dnevniki pomenijo:

• Občasno zamenjajte dnevnik z novo prazno datoteko za nadaljnje pisanje
• Shranjevanje stare datoteke za zgodovino
• Odstranjevanje datotek, ki so se 'postarale' dovolj, da sprostijo prostor na disku
• Prepričajte se, da lahko aplikacija piše v dnevnike, kadar je prišlo do sprememb v datoteki

Najpogostejša rešitev za to je # grep URI info.log | grep ? , ki je prednameščen z večino distribucij * nix. Poglejmo preprosto konfiguracijsko datoteko za vrtenje naših dnevnikov:

Drug, naprednejši pristop je ustvariti /var/log/my/debug.log /var/log/my/info.log /var/log/my/warning.log /var/log/my/error.log { rotate 7 daily missingok notifempty delaycompress compress sharedscripts postrotate invoke-rc.d rsyslog rotate > /dev/null endscript } sam zapisuje sporočila v datoteke, ki so dinamično ustvarjene glede na trenutni datum in čas. To bi še vedno zahtevalo rešitev po meri za odstranjevanje starejših datotek, vendar omogoča, da devops natančno upravlja časovne okvire za vsako datoteko dnevnika. Za naš primer:

Na ta način, $template DynaLocal0Err, '/var/log/my/error-%$NOW%-%$HOUR%.log' $template DynaLocal0Info, '/var/log/my/info-%$NOW%-%$HOUR%.log' $template DynaLocal0Warning, '/var/log/my/warning-%$NOW%-%$HOUR%.log' $template DynaLocal0Debug, '/var/log/my/debug-%$NOW%-%$HOUR%.log' local1.err -?DynaLocal0Err local1.info -?DynaLocal0Info local1.warning -?DynaLocal0Warning local1.debug -?DynaLocal0Debug bo vsako uro ustvaril posamezno datoteko dnevnika in jih ne bo treba zasukati in znova zagnati demona. Za rešitev te rešitve je mogoče odstraniti dnevniške datoteke, starejše od 5 dni:

Oddaljeni dnevniki

Ko projekt raste, razčlenjevanje informacij iz dnevnikov postaja vedno bolj lačno. To ne pomeni samo ustvarjanja dodatne obremenitve strežnika; to pomeni tudi ustvarjanje največje obremenitve CPU in diskovnih pogonov v času razčlenjevanja dnevnikov, kar lahko poslabša odzivni čas strežnika za uporabnike (ali v najslabšem primeru lahko celo zruši spletno mesto).

Da bi to rešili, razmislite o nastavitvi a strežnik za centralizirano beleženje . Za to potrebujete samo še eno okence z odprtimi vrati UDP 514 (privzeto). Če želite find /var/log/my/ -mtime +5 -print0 | xargs -0 rm poslušajte povezave, dodajte naslednjo vrstico v svojo konfiguracijsko datoteko:

Potem je nastavitev odjemalca tako enostavna kot:

(kjer je *.* @HOSTNAME:514 ime gostitelja vašega oddaljenega dnevnika).

Zaključek

Čeprav je ta članek predstavil nekaj ustvarjalnih načinov, na katere lahko dnevniške datoteke ponujajo dragocenejše informacije, kot ste si morda prej predstavljali, je pomembno poudariti, da smo samo opraskali površino tega, kar je mogoče. Obseg, obseg in oblika zapisa, ki ga lahko prijavite, je skoraj neomejen. To pomeni, da - če obstajajo podatki o uporabi ali analitiki, ki jih želite izvleči iz svojih dnevnikov - jih preprosto prijavite na način, ki bo olajšal naknadno razčlenitev in analizo. Poleg tega je to analizo pogosto mogoče izvesti s standardnimi orodji ukazne vrstice Linux, kot so HOSTNAME, grep ali sed.

Dejansko so datoteke dnevnika PHP najmočnejše orodje, ki ima lahko izjemno korist.

Viri

Koda na GitHub: https://github.com/isanosyan/toptal-blog-logs-post-example

Dodatek: Branje in upravljanje dnevniških datotek v lupini Unix

Tu je kratek uvod v nekatera najpogostejša orodja ukazne vrstice * nix, ki jih boste želeli poznati pri branju in upravljanju z vašimi dnevniškimi datotekami.

• awk je morda najbolj preprost. Natisne celotno datoteko v izhodni tok. Na primer, naslednji ukaz bo natisnil cat na konzolo:

  logfile1

• cat logfile1 znak uporabniku omogoča preusmeritev izhoda, na primer v drugo datoteko. Odpre ciljni tok v načinu pisanja (kar pomeni brisanje ciljne vsebine). Evo, kako nadomestimo vsebino > z vsebino tmpfile:

  logfile1

• cat logfile1 > tmpfile preusmeri izhod in odpre ciljni tok v načinu dodajanja. Trenutna vsebina ciljne datoteke bo ohranjena, nove vrstice bodo dodane na dno. To bo dodano >> vsebina do logfile1:

  tmpfile

• cat logfile1 >> tmpfile filtrira datoteko po nekaterih vzorcih in natisne samo ujemajoče se vrstice. Spodnji ukaz bo natisnil samo vrstice grep ki vsebuje logfile1 sporočilo:

  Bingo

• grep Bingo logfile1 natisne vsebino enega stolpca (s številko od 1). Privzeto išče znake zavihkov kot ločila med stolpci. Če imate na primer datoteko, polno časovnih žigov v obliki cut, bo to omogočilo tiskanje le let:

  YYYY-MM-DD HH:MM:SS

• cut -d'-' -f1 logfile1 prikaže samo prve vrstice datoteke

• head prikaže samo zadnje vrstice datoteke

• tail razvrsti vrstice v izhodu

• sort filtrira podvojene vrstice

• uniq šteje besede (ali vrstice pri uporabi z zastavico wc

• -l (tj. simbol »cev«) daje izhod iz enega ukaza kot vhod v drugega. Cev je zelo priročna za kombiniranje ukazov. Tako lahko na primer poiščemo mesece leta 2014, ki se pojavijo v določenem časovnem žigu:

  |

Tu najprej primerjamo vrstice z regularnim izrazom »začne se z letom 2014«, nato odrežemo mesece. Na koncu uporabimo kombinacijo grep -E '^2014' logfile1 | cut -d'-' -f2 | sort | uniq in sort samo enkrat natisniti pojavitve.