Methabot

Programul Methabot este un optimizat viteză, scripturi și extrem de configurabil web, ftp și locale șenile sistemul de fișiere. Aceasta susține parsare filetype prin script, o mare varietate de opțiuni de personalizare și este ușor de configurat pentru a se potrivi nevoilor cuiva ºi speciale.
Cu utilizarea sistemului de modul și limbajul de scripting, utilizatorii au posibilitatea de a prelua controlul total sau parțial al procesului crawling și să decidă totuși Methabot ar stoca date web, statistici și multe altele.
Doar prin rularea Methabot la linia de comandă puteti tipuri de fișiere de configurare personalizate, filtrare expresii, comportament, și mult mai mult, astfel încât să nu trebuie să fie un Scripter

Caracteristici !:

• Este rapid, proiectat de la sol și cu viteză de optimizare în minte.
• Scriptable prin Javascript cu E4X
• definite de utilizator de filtrare filetype (în funcție de tipul MIME, extensie sau de expresie UMEX)
• Multi-threaded
• Extrem de configurabil de la linia de comandă
• sistem modul extensibil, sprijinind interpretoare de date personalizate și filtre.
• Simplu de filtrare încă puternic de URL-uri prin UMEX.
• descărcare automat
• Suport pentru manipulare automată a cookie atunci când rulează pe HTTP
• De incredere, cu toleranță la erori de rețea
• portabil, testat cu succes pe 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP și Mac OS X. Ar trebui să lucreze pe aproape orice sistem de operare Unix-like.

Ce este nou în această versiune:

• Bugfix, atunci când a fost utilizat externe peek limita de adâncime a fost stricat.

Remedieri utilizare
• Memorie de curatare

Opțiunea
• dinamic-url nu mai este setat să căutare în mod implicit, deoarece incetineste semnificativ crawling
• Construiți sistem creează acum și instalează unele fișiere antet, care module pot folosi atunci când conectarea
• instrument meta-config adăugat
• lmm_mysql mutat în afara acestui pachet

Ce este nou în versiunea 1.5.0:

• Modificări și noi caracteristici:
• Suport pentru citirea tampon intial de la stdin
• - opțiunile de linie de comandă de tip și --base-url adăugat, împreună cu opțiunea initial_filetype în fișierele de configurare
• Cookie-urile și informații DNS este acum împărtășită în mod corespunzător între lucrători atunci când rulează multithreaded
• Adaugata unele exemplu de utilizare comenzi --examples
• îmbunătățiri mari la comunicarea inter-fire, acum mai rapid și mai organizat
• Adăugat suport pentru funcții "init" la script-uri. Cititi mai multe despre funcțiile de inițializare la http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha nu înghețe când mai faci mai multe concurente cereri HTTP HEAD. Motivul pentru îngheață fost un bug în libcurl care este acum fix. Unele soluții au fost adăugate pentru a libmetha pentru a preveni îngheață din care apar atunci când se utilizează versiuni defect libcurl de asemenea.
• Suport pentru versiuni mai vechi libcurl 7.17.x și 7.16.x
• Informația nouă este disponibilă în & quot; & quot; acest obiect de javascript interpretoare, tip de conținut și starea de transfer cod. Citeste mai mult la http://bithack.se/projects/methabot/docs/e4x/this.html
• - opțiune verbose înlocuit cu --silent, deoarece modul verbose este acum implicit
• Suportul initial pentru FTP crawling și opțiunea ftp_dir_url șenile
• Adâncime de limitare este acum crawler-specific
• Adaugata opțiunile de linie de comandă --crawler și --filetype
• Suport pentru extinderea și imperative crawlerele și tipuri de fișiere deja definite
• Suport pentru cuvântul cheie exemplar în fișierele de configurare
• Suport pentru comutarea dinamică crawler activ, aceasta vă permite să se târască site-uri diferite în moduri complet diferite într-o singură sesiune crawling. Cititi mai multe despre comutare crawler la http://bithack.se/projects/methabot/docs/crawler_switching.html
• Versiunea libev upgrade la 3,51
• includ directive în fișierele de configurare face acum vă că fișierul de configurare inclus nu a fost deja încărcat, pentru a preveni includ bucle și mai multe definiții filetype / excavator.
• Diverse SpiderMonkey remedieri de colectare a gunoiului, libmetha nu mai accident la curățarea după o sesiune de multithreaded
• Adaugata unele informații suplimentare la opțiunea --info
• Opțiunea "extern" este acum fixă ​​și a permis din nou
• opțiunea New --spread de muncă
• New API libmetha funcția lmetha_global_setopt () permite schimbarea eroare / mesaje reporterul global / avertizare
• Adaugata implementarea inițială a unei suite de testare pentru dezvoltatori
• de raportare a erorilor mai bună atunci când încărcarea fișierelor de configurare
• Bugfix când un server HTTP nu a returnat un antet Content-Type la solicitarea HEAD
• Bugfix când adresele URL de sortare după cereri HTTP multiple HEAD
• Bugfix în html Convertor xml atunci când pagina HTML nu avea o & lt; html & gt; tag
• Bugfix, opțiunea extless-url nu au de lucru
• Bugfix, html Convertor xml nu mai inductoare privind mărcile octet de ordin sau alt text înainte HTML real
• Bugfix, împiedicat libmetha de la încercarea de a accesa adrese URL de protocoale care nu sunt acceptate
• Bugfix când închiderea după o eroare.
• Bugfix, URL-uri nerezolvabile nu a izbucni bucla reîncerca după trei încercări
• Foarte experimental și suport instabil pentru Win32, destinat în special pentru dezvoltatorii
• fișiere de configurare noi:
• google.conf, pentru a efectua căutări Google
• youtube.conf, youtube căutarea
• meta.conf, printuri de informare, cum ar fi cuvintele cheie meta și descrierea despre pagini HTML
• title.conf, imprimă titlul de pagini HTML
• ftp.conf, pentru accesarea cu crawlere servere FTP

Ce este nou în versiunea 1.4.1:

• Configurare nu a putut găsi jsapi.h pe unele sisteme , aceasta ar trebui să fie stabilite în prezent.
• Fișierele de configurare sunt acum posibilitatea de a modifica excavator și filetype steaguri, a adăugat "externe" și "external_peek" opțiunile
• Bugfix, Methabot ar prăbuși, uneori, atunci când curățarea URL-uri goale după multiple HEAD HTTP
• Fixed-un accident care a avut loc atunci când rulează sincron.
• sistem Build includ fix când jsconfig.h nu a putut fi găsit.

Cerințe :

• antete SpiderMonkey
• cURL