Jug

Jug este o implementare Python a cadrului MapReduce (în prezent o parte standard a Hadoop ), permițând dezvoltatorilor să scrie cod care poate funcționa în diferite forme de paralelizare.
Acest lucru înseamnă cod care poate rula în paralel pe aceeași mașină, sau peste un grup de calcul (mai multe mașini).
Jug permite dezvoltatorilor să organizeze cod în bucăți mai mici, și selectarea unde, cum și când să-l rulați.
În timp ce acest lucru poate fi peste partea de sus a site-urile mici și aplicații, acest comportament poate fi foarte util în aplicații cu o încărcătură mare de trafic sau care manipula cantități mari de date.
Jug poate lucra și a stoca datele la nivel local prin intermediul hard disk-, sau se poate folosi de stocare la distanță. Pentru cazul mai târziu, Redis de bază de date este acceptată

Caracteristici :.

• de stocare a datelor persistentă sprijin
• reutilizări rezultate parțiale
• sprijin Concurenta
• de stocare a datelor de localitate
• de stocare a datelor la distanță
• status checker Funcționare

Ce este nou în această versiune:

• remedieri Python 3 de compatibilitate
• Fsync (director) în fișierul backend
• cârlige Cană (în mare parte fără acte, dar deja permițând cod simplificare intern)

Ce este nou în versiunea 0.9.7:

• utilizare Fix a subclase NumPy
• redis Fix URL parsarea
• Fix `` shell`` pentru versiunile mai noi de IPython
• cădea corect din nou pe bază non-sqlite `` status``

Ce este nou în versiunea 0.9.6:

• decodare repede
• script-urcior executa Adaugata
• Adăugat descrie () funcție
• write_task_out Adaugata () funcție

Ce este nou în versiunea 0.9.1:

• Adaugata `` webstatus`` subcomanda
• bvalue Adaugata () funcție
• Fixed bug în `` subcomanda shell`` (`` value`` nu a fost în spațiu de nume global)
• identitate îmbunătățită ()
• Fixed bug în utilizarea Tasklets și --aggressive-descărcare
• Fixed bug cu Tasklets și somn-până la / check

Ce este nou în versiunea 0,9:

• În prezența unei bariere (), rulați din nou jugfile . Acest lucru face ca barieră mult mai ușor de utilizat.
• set_jugdir Adăugat la API public.
• Adaugat CompoundTaskGenerator.
• Suport subclasare sarcinii.
• Evitați crearea de directoare în fișierul backend excepția cazului în care este necesar.
• Adăugați jug.mapreduce.reduce (care mimicks comanda interna reduce).

Ce este nou în versiunea 0.8.1:

• redis Fix backend pentru noua versiune a modulului client
• Magazin fișier mai rapid pentru fișiere mari
• Fix `invalidate` cu Tasklets
• Instalare teste și le-au fi runnable
• hash schimbată metoda de calcul. Acest lucru are un caz special pe tablouri NumPy
• (pentru viteză) și este mai extensibil printr-un cârlig __jug_hash__
• Fix bug cu Tasklet nu dependențe luate în mod corespunzător în considerare
• subcomanda coajă Fix în versiunile mai noi de ipython
• Adăugați __file__ atribut la jugmodule fals

Ce este nou în versiunea 0,8:

• Tasklets
• Fix bug-uri în somn-, până și curățare
• Fix bug-uri cu CompoundTask (ai nevoie pentru a rula ulcior executa de două ori înainte de a).

Ce este nou în versiunea 0,8-b0:

• Tasklets - Fix bug-uri în somn, până la și curățare .

Ce este nou în versiunea 0.7.4:

• caz Fix unde ~ / .jug / configrc face nu exista.
• Imprimare nume de gazdă pentru a bloca fișier pe file_store.
• Refactored punerea în aplicare a opțiunilor.
• sarcini Fix descărcare care nu au fost difuzate.
• Fix MapReduce pentru intrare gol.

Ce este nou în versiunea 0.7.3:.

• analizare ~ / .jug / configrc
• Fix bug cu timpul de așteptare.

Economisire
• caz special al matrice NumPy.
• Adăugați sintaxă jugdir mai expresiv.
• Salvare dict_store backend la disc.

Ce este nou în versiunea 0.7.2:.

• incluse fișiere lipsă în distribuția

Ce este nou în versiunea 0.7.1:.

• -somn până la subcomanda
• Fix pentru barieră () și interacțiunea MapReduce.
• îmbunătățire Documentation.

Ce este nou în versiunea 0,7:

• O mai bună `` comanda shell``
• metodă rescris pentru încărcare jugfiles
• Activități avea funcția inițială accesibil ca `f`

Ce este nou în versiunea 0.6.9:.

• New comandă de selectare
• load_all () în interiorul coajă.

Ce este nou în versiunea 0.5.2:.

• New `comanda shell`
• compresie în redis backend.
• Îmbunătățiri în viteză pentru 'invalida' comanda.

Ce este nou în versiunea 0.5.1:

• Redis backend
• dependențe dicționar

(Jugfile comanda ulcior ...)
• schimbată interfață linie de comandă

Cerințe :

• Python 2.6 sau mai mare