Hadoopy

Acesta este de fapt o bibliotecă Python pentru MapReduce scris in Cython

Caracteristici :.

• interfață similară ca Hadoop API (modele de proiectare utilizabile între interfețe Python / Java)
• Compatibilitate generală cu Dumbo, pentru a permite utilizatorilor pentru a comuta înainte și înapoi
• utila pe clustere Hadoop, fără Python sau acces admin
• conversie și de prelucrare rapidă
• Stai mic și bine documentat
• Fii transparent cu ceea ce se întâmplă pe
• programele mâner cu a lui Deci complicate, ctypes și extensii
• Codul scris de hack-capacitatea
• acces simplu HDFS (de exemplu, citit, scris, ls)
• Suport (și nu reproduce) ecosistemul Hadoop mai mare (de exemplu, Oozie, dudui)
• automata paralelizare job "auto-oozie" disponibil în proiectul de curgere hadoopy (menținută din ramură)
• executarea Local de muncă MapReduce nemodificat cu launch_local
• citire / scriere fișiere secvență de TypedBytes direct HDFS din python (readtb, writetb)
• Permite imprimarea a stdout și stderr în sarcinile Hadoop, fără a provoca probleme (utilizează "hopping pipe" Tehnica, ambele sunt disponibile în stderr sarcina de)
• Funcționează pe clustere, fără nici o instalare suplimentare, Python sau biblioteci Python (folosește Pyinstaller care este inclusă în acest copac sursă)
• Funcționează pe OS X
• Critical Path este Cython
• acces simplu HDFS (readtb și ls) în interiorul Python, chiar în interiorul rulează de locuri de muncă
• Interfață de testare Unitate
• Raportarea folosind stare și contoare (și imprima declarații! Nu trebuie să fie speriat de ei în Hadoopy)
• Acceptă modele de design din carte Lin & Dyer
• suport Typedbytes (foarte repede)
• suport Oozie

Cerințe :

• Cython 0,13 sau mai mare