WebGraph

WebGraph este un cadru pentru a studia Graficul web. WebGraph oferă modalități simple de a gestiona grafice foarte mari, care exploatează tehnici moderne de compresie. Mai precis, este în prezent din:
1. Un set de coduri plate, numite coduri, care sunt deosebit de adecvat pentru depozitarea grafice web (sau, în general, numere întregi cu distribuție a energiei electrice de drept într-un anumit interval exponent). Faptul că aceste coduri funcționează bine poate fi ușor testate empiric, dar vom încerca, de asemenea, pentru a oferi o analiză matematică detaliată.
2. Algoritmi pentru comprimarea grafice web care exploatează compresie gol și referentiation (la LINK), intervalisation și codurile pentru a oferi un raport de compresie mare: de exemplu, Graficul WebBase (2001 crawl) este comprimat la 3.08 biți pe link-ul, și un instantaneu de aproximativ 18.5 milioane de pagini ale domeniului .uk aparată de UbiCrawler este comprimat la 2.22 de biți pe link-ul (cifrele corespunzătoare pentru graficele transpuse sunt 2.89 biți pe link-ul și 1.98 de biți pe link-ul). Algoritmii sunt controlate de către mai mulți parametri, care oferă diferite compromisuri între viteza de acces și raportul de compresie.
3. Algoritmi pentru accesarea unui grafic comprimat fără să-l decomprima, folosind tehnici leneș care întârzie decompresie până când este de fapt necesar.
4. Un complet de punere în aplicare, documentat algoritmilor de mai sus în Java, cuprinse în it.unimi.dsi.webgraph pachet. În afară de un API clar definit, pachetul conține mai multe clase care permit să modifice (de exemplu, transpune) sau recompress un grafic, astfel încât să experimenteze cu diferite setări. Pachetul se bazează pe fastutil un cadru colecții de tip specific, de înaltă performanță, la MG4J de nivel-bit I / O, cu privire la distribuirea COLT pentru algoritmi gata de utilizare, eficiente și pe GNU getopt pentru parsarea linie de comandă.
5. seturi de date pentru grafic foarte mari (de exemplu, un miliard de link-uri). Acestea sunt fie adunate din surse publice (cum ar fi WebBase), sau produse de UbiCrawler.
În cele din urmă, cu WebGraph puteți accesa și analiza un grafic web foarte mare, chiar și pe un PC cu cât mai puțin de 256 MB de RAM. Folosirea WebGraph este la fel de ușor ca instalarea câteva fișiere jar și descărcarea unui set de date. Acest lucru face ca studierea fenomenelor, cum ar fi PageRank, distribuirea de proprietăți grafic al Graficul web, etc. foarte ușor

Ce este nou în această versiune:.

• Această versiune adaugă mai multe îmbunătățiri HyperANF, și câteva rezolvări ale unor probleme.
• WebGraph pot acum fi găsite pe Maven pe centru.

Ce este nou în versiunea 2.4.5:

• Această versiune conține o punere în aplicare a HyperANF, un nou algoritm extrem de scalabil pentru calculul funcției vecinătate a unui grafic, și metode care calcula drumul cel mai scurt mediu și alte date derivate din funcția de cartier.
• În plus, o multitudine de date statistice este acum calculează în timpul compresiei.

Ce este nou în versiunea 2.4.4:.

• Unele opțiuni vechi au fost eliminate
• Fișierele de proprietate conține acum o avere de statistici utile.
• viteza de acces aleator a fost îmbunătățită.

Ce este nou în versiunea 2.4.3:

• ArrayListMutableGraph.addNodes fixe () (datorită Erik Lumer pentru identificarea și fixarea acest bug).
• Noi optiuni pentru a schimba ieșirea de grafice ASCII.
• RemappedImmutableGraph.successorArray (x) a fost cu aceeași matrice pe fiecare apel, făcând astfel succesorii moștenite (x) metoda inutilizabil pentru a scana în listele paralele diferite. Fixe (acum returnează o copie a matrice, în schimb).
• New transformare aleatorii care permută aleatoriu un grafic.

Ce este nou în versiunea 2.4.2:

• O nouă & quot; compune & quot; construi permite compune (arc-marcat) grafice.