Apache Spark

Spark a fost conceput pentru a imbunatati viteza de procesare pentru analiza datelor și a programelor de manipulare.
A fost scris în Java și Scala și oferă caracteristici nu a fost găsit în alte sisteme, mai ales pentru că nu sunt de masă și nici că util pentru aplicatii de procesare non-date.

Ce este nou în această versiune:.

• API de bază suportă acum copaci multi-nivel de agregare pentru a ajuta accelerarea scump reduce operațiunile
• de raportare a erorilor îmbunătățită a fost adăugată pentru anumite operațiuni Te-am prins.

Jetty dependență
• Spark este acum umbrită pentru a evita conflictele cu programe de utilizator.
• Spark suportă acum criptarea SSL pentru unele obiective de comunicare.
• metrici Realtime GC și a înregistra numărul au fost adăugate la UI.

Ce este nou în versiunea 1.3.0:

• API de bază suportă acum copaci agregare multi-nivel pentru a ajuta la accelerarea scump reduce operațiunile.
• de raportare a erorilor îmbunătățită a fost adăugată pentru anumite operațiuni Te-am prins.

Jetty dependență
• Spark este acum umbrită pentru a evita conflictele cu programe de utilizator.
• Spark suportă acum criptarea SSL pentru unele obiective de comunicare.
• metrici Realtime GC și a înregistra numărul au fost adăugate la UI.

Ce este nou în versiunea 1.2.1:

• operatorului fel PySpark sprijină acum vărsarea extern pentru seturi de date de mari dimensiuni .
• PySpark suportă acum variabile de difuzare mai mare de 2GB și efectuează vărsarea externă în timpul felul.
• Spark adaugă o pagină de nivel de locuri de muncă progrese în UI Spark, un API stabil pentru raportarea progresului, și actualizarea dinamică de metrici de ieșire ca locuri de muncă complet.
• Spark are acum suport pentru citirea fișierelor binare pentru imagini și alte formate binare.

Ce este nou în versiunea 1.0.0:

• Această versiune extinde bibliotecile standard de Spark, introducând o nouă Pachetul SQL (SQL Spark), care permite utilizatorilor să integreze interogări SQL în fluxurile de lucru Spark existente.
• MLlib, biblioteca masina de învățare Spark lui, este extins cu suport vector rare și mai mulți algoritmi noi.

Ce este nou în versiunea 0.9.1:

• Fixed hash coliziune bug în vărsarea externe
• conflicte fixe cu Log4j Spark pentru utilizatorii care se bazează pe alte backend de exploatare
• fixă ​​Graphx lipsește din borcan de asamblare Spark în Maven construiește
• eșecuri tăcut fixe datorate harta statutul de ieșire care depășește dimensiunea Akka cadru
• dependență directă inutile Spark eliminat pe ASM
• eliminate valorile-ganglioni de default a construi din cauza conflictului de licență LGPL
• Fixed bug în tar distribuție nu conține borcan asamblare scânteie

Ce este nou în versiunea 0.8.0:

• Dezvoltare a mutat Fundației Apache Sowftware ca proiect incubator.

Ce este nou în versiunea 0.7.3:

• Python performanță: mecanism Spark pentru reproducere Python virtuale are fost îmbunătățit pentru a face acest lucru mai repede atunci când JVM are o dimensiune mare morman, accelerarea API Python.
• mesos stabilește: JAR adăugate la munca ta va fi acum pe classpath când deserializing rezultate sarcinii in mesos
.
• raportare Eroare:. O mai bună raportare a erorilor de excepții non-serializabile și rezultatele sarcinii prea mari
• Exemple:. Adaugarii un exemplu de prelucrare curent dinamică cu updateStateByKey
• Build:. Spark direct nu mai depinde de repo Twitter4J, care ar trebui să permită să construiască în China
• Remedii erori în foldByKey, numărul de streaming, metode statistici, documentare, și UI web.

Ce este nou în versiunea 0.7.2:.

• versiune Scala actualizată la 2.9.3
• Mai multe îmbunătățiri Bagel, inclusiv remedieri de performanță și un nivel de stocare configurabile.
• Metode de API noi:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, și altele
• O nouă metrici de raportare interfață, SparkListener, pentru a colecta informații despre fiecare etapă de calcul:. Lungimi de sarcini, bytes amestecate, etc
• Mai multe noi exemple folosind API-ul Java, inclusiv K-mijloace și pi calcul.

Ce este nou în versiunea 0.7.0:

• Spark 0.7 adaugă un API Python numit PySpark <. / li>
• locuri de muncă Spark lansat acum un tablou de bord web pentru monitorizarea utilizarea memoriei de fiecare set de date distribuite (RDD), în cadrul programului.
• Spark pot fi acum construit folosind Maven în plus față de SBT.

Ce este nou în versiunea 0.6.1:

• Mesaj prea agresiv fixe timeout care ar putea provoca lucrătorilor deconectați de cluster.
• Fixed un bug în modul implementat independent care nu expune numele gazdelor la planificator, care afectează localitatea HDFS.
• reutilizare conexiune îmbunătățită în shuffle, care poate sa accelereze shuffle mici.
• fixe unele blocaje potențiale în managerul de bloc.
• Fixed un bug obtinerea ID-uri de gazde eșuat din mesos.
• Mai multe îmbunătățiri script EC2, ca mai bine de manipulare de instanțe la fața locului.
• Made adresa IP locală care Spark se leaga de personalizabil.
• Suport pentru Hadoop 2 distribuții.
• Suport pentru localizarea Scala pe distribuțiile Debian.

Ce este nou în versiunea 0.6.0:.

• de implementare simplu
• documentare Spark a fost extins cu un nou ghid rapid de pornire, instrucțiuni suplimentare de implementare, ghid de configurare, ghid de tuning, și îmbunătățită documentare Scaladoc API.
• un nou manager de comunicare folosind asincron Java NIO permite operațiuni shuffle alerga mai repede, mai ales atunci când trimit cantități mari de date sau atunci când locurile de muncă au multe sarcini.
• un nou manager de stocare acceptă pe-CCD setări la nivel de stocare (de exemplu, dacă doriți să păstrați setul de date în memorie, deserialized, pe disc, etc, sau chiar replicat peste noduri).
• depanare îmbunătățită.