yahi

yahi este un parser versatil jurnal furnizarea de extractoare implicite pentru apache / lighttpd.
utilizare Linia de comandă
Exemplu de date parsate cu yahi: http://wwwstat.julbox.fr/
Utilizare mai simplu este:
speed_shoot ug / usr / local / date / GeoIP / var / www / apache / Acces * log
se va reveni o JSON în forma:
{
& Nbsp; "by_date": {
& Nbsp; "2012-5-3": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "necunoscută": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489 de,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& nbsp; "by_os": {
& Nbsp; "necunoscută": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "necunoscută": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "necunoscută": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11, x86_64 Linux,, Ubuntu RV: 12,0) Gecko / 20100101 Firefox / 12,0, gzip (GFE) (prin translate.google.com)": 1,
& Nbsp; "Mozilla / 5.0 (X11, x86_64 Linux,, Ubuntu RV: 12,0) Gecko / 20100101 Firefox / 12,0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "După țară": {
& Nbsp; "": 10,
& Nbsp; "US": 1
& Nbsp;}
}
Dacă utilizați:
speed_shoot -f CSV ug / usr / local / date / GeoIP / var / www / apache / Acces * log
Rezultatul tau este:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, necunoscut, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, necunoscut, 11
week_browser, 3, necunoscut, 11
by_referer, -, 11
by_browser, necunoscut, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11, x86_64 Linux,, Ubuntu RV: 12,0) Gecko / 20100101 Firefox / 12,0, gzip (GFE) (prin translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11, x86_64 Linux,, Ubuntu RV: 12,0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
După țară ,, 10
După țară, SUA, 1
Ei bine cred, nu funcționează pentru că mai întâi trebuie să aducă fișier de date GeoIP:
wget O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Desigur, aceasta este baza de date GeoLite, eu nu includ datele în pachetul de la GeoIP trebuie să fie actualizate frecvent să rămână corecte.
Calea implicită pentru GeoIP este de date / GeoIP.dat
Utilizare ca un script
trage viteza este de fapt un model de cum să yahi folosi ca un modul:
#! / Usr / bin / env python
de la archery.bow import Hankyu ca _dict
de la yahi notch import, trage
de la datetime datetime import
context = crestătură ()
date_formater = lambda dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; trage (
& Nbsp; context,
& Nbsp; date lambda: _dict ({
& Nbsp; "După țară": _dict ({date ['_ țară "]: 1}),
& Nbsp; "by_date": _dict ({date_formater (date ['_ datetime']): 1}),
& Nbsp; "by_hour": _dict ({. Date ['_ datetime'] oră: 1}),
& Nbsp; "by_os": _dict ({date ['_ os_name']: 1}),
& Nbsp; "by_dist": _dict ({date ['_ dist_name']: 1}),
& Nbsp; "by_browser": _dict ({date ['_ BROWSER_NAME']: 1}),
& Nbsp; "by_ip": _dict ({date ['ip']: 1}),
& nbsp; "by_status": _dict ({date ['stare']: 1}),
& Nbsp; "by_url": _dict ({date ['uri']: 1}),
& Nbsp; "by_agent": _dict ({date ["agent"]: 1}),
& Nbsp; "by_referer": _dict ({date ['referer "]: 1}),
& Nbsp; "ip_by_url": _dict ({date ['uri']: _dict ({date ['IP']: 1})}),
& Nbsp; "bytes_by_ip": _dict ({date ['IP']: int (date ["octeți"])}),
& Nbsp; "week_browser":. _dict ({Date ['_ datetime'] zi a săptămânii ():
& Nbsp; _dict ({date ["_ BROWSER_NAME"]: 1})}),
& Nbsp; "total_line": 1,
& Nbsp;}),
& Nbsp;),
)
Instalare
ușor ca:
Pip instala yahi
sau:
easy_install yahi
utilizare recomandabil
- Pentru agregare jurnal de bază, eu nu recomand folosind linia de comandă;
- Pentru unul valori împușcat eu recomand o consolă interactive (bpython sau ipython);
. - Pentru valori specifice sau filtre elaborate eu recomand folosind API-ul

Cerințe :

• Python