Dapper Dataflow Engine

Dapper (Distributed și program paralel Runtime Execution) este un instrument pentru îmblânzirea complexitatea de dezvoltare pentru cloud pe scară largă și grid computing, care permite utilizatorului să creeze calcule distribuite din esențialul - codul care va Execut
De ce Dapper?
Trăim în vremuri interesante, în cazul în care progrese în domeniul științelor depind tot mai mult pe disponibilitatea tot mai mare și abundența resurselor de calcul bunuri de larg consum, în rețea. Cu ajutorul nor sau grila, calcule care ar fi altfel zile pe o mașină desktop singur acum au distribuit și / sau formulări paralele care poate putinei prin, într-o chestiune de ore, intrare seturi de zece ori mai mare pe o sută de mașini . Ca ademenitoare ca ideea de putere în număr poate fi, având doar hardware fizic nu este suficient - un programator are la ambarcațiunile de calcul real, care va rula pe el. Prin urmare, valoarea mare pus pe efortul uman și creativitate necesită un mediu de programare care permite și chiar încurajează, expresie succintă a calculelor distribuite, și totuși, în același timp, nu sacrifica generalitate.
Dapper, în picioare de distribuit și în paralel execuția programului Runtime, este un astfel de instrument pentru bridging specificații la nivel înalt om de știință / programatorului care surprind esența unui program, cu mecanismele de nivel scăzut care să reflecte realitățile neplăcute de distribuit și în paralel calcul. Sub abordare orientată spre dataflow, Dapper permite utilizatorilor să cod local, în Java și executa la nivel global pe nor sau grila. Utilizatorul scrie primul codelets, sau fragmente mici de cod care realizează sarcini simple și nu fac, în sine, constituie un program complet. Ulterior, el sau ea precizează modul în care aceste codelets, văzute ca noduri în fluxul de date, transmite date între ele prin relații de margine. Rezultată regizat Graficul dataflow aciclic este un program complet de interpretabil de serverul Dapper, care, după ce a fost contactat de către clienții lucrătorilor durata lunga de viata, poate coordona o execuție distribuite.
În conformitate cu modelul Dapper, utilizatorul nu mai are nevoie să vă faceți griji cu privire la aspectele tradițional ad-hoc de gestionare nor sau grila, care includ manipularea interconexiuni de date și dependențele, recuperarea din erori, distribuirea de cod, și începând de locuri de muncă. Poate mai important, oferă un întreg toolchain bazate pe Java și execuție pentru încadrarea aproape toate calculele distribuite granulată-grosier într-un format consistent care permite implementarea rapidă și transport ușor de alți cercetători.

Caracteristici :

• Un sistem de distribuție de cod care permite serverului Dapper a transmite cod de program necesară în rețea și au clienti dinamic încărcați. O consecință a acestui fapt este că, de restricționare executabile externe, update-uri la Dapper programe trebuie doar întâmpla pe server-side.
• Un puternic metodă încorporarea subflow pentru modificarea dinamic Graficul fluxului de date în timpul rulării.
• O execuție în vanilie Java, un limbaj care mulți sunt, fără îndoială familiarizat cu. În afară de obligația de a JVM recent și opțional Graphviz Dot, Dapper este autonom.
• Un protocol de control robust. Serverul Dapper așteaptă orice număr de clienți să eșueze, în orice moment, și are re-executare și timeout politici personalizate pentru a face față. Prin urmare, se poate porni și opri (lungă durată,) clienților, fără teama de a pune întregului sistem într-o stare inconsistentă.
• semantica flexibile, care permit transferuri de date, prin intermediul fișierelor sau TCP stream.
• Interoperabilitatea cu firewall-uri. Deoarece nor local sau de rețea, probabil, se află în spatele unui firewall, am conceput semantică speciale pentru transferul de date de streaming.
• termeni de licențiere liberale. Dapper este lansat sub LGPL pentru a preveni contaminarea de codebase ta.
• Operarea ca o aplicație embedded. Un manual de utilizare descrie API de programare care utilizatorii pot urmări pentru a rula serverul Dapper interiorul unei cereri ca Apache Tomcat.
• Operarea ca o interfață de utilizator independent. Cu aceasta, se poate rula demo-uri off-the-shelf și să învețe concepte de bază din exemplele vizuale. Urmând un set minim de convenții, se poate pachet apoi propriilor programe Dapper ca arhive de execuție, iar apoi a obține statutul de flux de date în timp real și feedback-ul de depanare.

Ce este nou în această versiune:

• Metoda ServerLogic # closeIdleClients a fost modificat pentru a corespunde mai bine noțiunea intuitivă de lene.
• O opțiune de utilizator pentru a specifica hostname serverului a fost adăugat.
• interne de rețea au fost remodelate pentru a utiliza noile API-uri.
• Procesul construi a fost actualizat pentru a sprijini atât pe 32 și pe 64 de biți pentru Windows eco-compilare.
• Dapper. * Ierarhie a fost redenumit la org.dapper. *.

Ce este nou în versiunea 0.96:

• Adaugata captarea FlowListener, astfel încât utilizatorii pot metadate acum asociat cu dataflows și nodurile lor.
• Fixed o scurgere de memorie în serverul Dapper.
• Adaugat etichete apiviz Doclet astfel încât relațiile dintre clasele pot fi vizualizate mai bine.
• apiviz Adăugat de vizualizare a dependențe în Javadoc.
• Fixed un bug mic in BuildAndTest executabil.
• Procesul de construcție este acum complet integrat cu Apache Ivy. Distribuția sursă nave acum mai cu SST. În schimb, dependențele sunt descărcate automat; în caz contrar, se poate descărca sursa SST, compilați-l, și să publice un depozit local. Consultați manualul de utilizare pentru mai multe detalii.
• proces construi Actualizat și măsuri redundante eliminate.

Anunțuri
• de autor normalizat și licențe în toate fișierele.
• Java 1.6 este acum necesar pentru a construi și a alerga.
• Schimbare proces de a utiliza Apache Ivy, ceea ce înseamnă că dependențele externe nu mai trebuie să fie ambalate cu distribuția principală SST construi.
• 'Doxygen "țintă Adăugat de a construi proces, astfel încât componentele native pot fi documentate.

Ce este nou în versiunea 0,95:

• O infrastructură nouă, logare flexibil a fost adăugat
• initializare pentru structuri de exploatare forestieră au fost mutate din clasele Server și Client și în drivere.
• mașini de stat finit au fost actualizate la noua API-driven adnotare.
• Codul sursă a fost normalizată pentru a avea 8 spații în loc de file.

Ce este nou în versiunea 0,94:

• opțiuni de linie de comandă pentru client și server sunt acum disponibile, curtoazie bibliotecii Apache Commons CLI.
• Procesul client ciclului de viață este acum definit ca încheie atunci când o deconectare de la serverul se întâmplă.
• Stem funcționa generație a trecut de la a fi o metodă de membru al OutputHandleResource a fi o metodă statică a CodeletUtilities.
• Clasa FlowNodeFactory este folosit în favoarea instanțierea directă a FlowNodes.
• Construirea de componente native a migrat la CMake.
• Logging a migrat la SLF4J.
• O README a fost adăugat la toate distributiile.

Ce este nou în versiunea 0.93:.

• exemple pedagogice foarte mult îmbunătățite
• manual Actualizat.
• Adaugata rutine comoditate în dapper.codelet.CodeletUtilities pentru interogarea resurselor.
• Generator Eliminat, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource și FileBatchResource. Acestea au fost înlocuite cu conceptul de mânere abstracte de date sub formă de HandleEdge, InputHandleResource, OutputHandleResource. Consultați manualul pentru schimbări.
• dapper.codelet.Resource Actualizat pentru a exporta fluxurilor de intrare și de ieșire.

Cerințe :

• Java 2 Standard Edition Runtime Environment