Apache Hadoop

Apache Hadoop a fost inițial dezvoltat de Yahoo, iar proiectul este o combinație între Apache Hadoop Core și Apache Hadoop repos comune anterioare.

Proiectul Hadoop a câștigat o mulțime de notorietate, datorită rezultatelor sale mari în implementarea unui sistem de calcul distribuit pe mai multe servere pentru manipularea cantități uriașe de date.

Proiectul în sine este, de fapt format din patru părți. Una dintre ele este Hadoop comună, așa-numitul nucleu care permite tuturor celorlalte module să lucreze, iar al doilea este propriul său sistem de fișiere - HDFS (Hadoop Distributed File System), al treilea este Hadoop cadrul FIRE programare și în cele din urmă există un sistem Hadoop MapReduce pentru sprijinirea calcul paralel.

Folosind aceste sistem de rupere la sol, Apache a reușit să creeze multe alte proiecte secundare, cum ar fi:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Stupul

- Apache conducător de elefanți

- Apache de porc

- Apache Spark

- Apache Tez

- Apache Zookeeper

Toate acestea se bazează pe motorul de procesare a datelor puternic Hadoop sau caracteristicile sale de calcul distribuit, integrând unul dintre modulele sale în miezul lor într-un fel sau altul.

Ce este nou în această versiune:

• Suport pentru Arhivistic de stocare
• Datele transparente la criptarea repaus (beta)
• Operarea DataNode sigură, fără a necesita acces root
• Hot swap unitate: suport adăuga / elimina volume de nod de date fără a reporni nod de date (beta)
• suport pentru AES pentru criptare mai rapidă sârmă
• Suport pentru servicii lungi de funcționare în FIRE
• etichete de nod Suport în timpul programării
• Sprijin pentru rezervări de resurse bazate pe timp planificator Capacitate (beta)
• Global, memoria cache partajat pentru artefacte de aplicații (beta)
• Suport pentru rularea de aplicatii gen in Docker containere (alfa)

Ce este nou în versiunea 2.7.1:

• Suport pentru Arhivistic de stocare
• Datele transparente la criptarea repaus (beta)
• Operarea DataNode sigură, fără a necesita acces root
• Hot swap unitate: suport adăuga / elimina volume de nod de date fără a reporni nod de date (beta)
• suport pentru AES pentru criptare mai rapidă sârmă
• Suport pentru servicii lungi de funcționare în FIRE
• etichete de nod Suport în timpul programării
• Sprijin pentru rezervări de resurse bazate pe timp planificator Capacitate (beta)
• Global, memoria cache partajat pentru artefacte de aplicații (beta)
• Suport pentru rularea de aplicatii gen in Docker containere (alfa)

Ce este nou în versiunea 2.7.0:

• Suport pentru Arhivistic de stocare
• Datele transparente la criptarea repaus (beta)
• Operarea DataNode sigură, fără a necesita acces root
• Hot swap unitate: suport adăuga / elimina volume de nod de date fără a reporni nod de date (beta)
• suport pentru AES pentru criptare mai rapidă sârmă
• Suport pentru servicii lungi de funcționare în FIRE
• etichete de nod Suport în timpul programării
• Sprijin pentru rezervări de resurse bazate pe timp planificator Capacitate (beta)
• Global, memoria cache partajat pentru artefacte de aplicații (beta)
• Suport pentru rularea de aplicatii gen in Docker containere (alfa)

Ce este nou în versiunea 2.6.0:

• Suport pentru Arhivistic de stocare
• Datele transparente la criptarea repaus (beta)
• Operarea DataNode sigură, fără a necesita acces root
• Hot swap unitate: suport adăuga / elimina volume de nod de date fără a reporni nod de date (beta)
• suport pentru AES pentru criptare mai rapidă sârmă
• Suport pentru servicii lungi de funcționare în FIRE
• etichete de nod Suport în timpul programării
• Sprijin pentru rezervări de resurse bazate pe timp planificator Capacitate (beta)
• Global, memoria cache partajat pentru artefacte de aplicații (beta)
• Suport pentru rularea de aplicatii gen in Docker containere (alfa)

Ce este nou în versiunea 2.5.0:.

• îmbunătățiri de autentificare atunci când se utilizează un server proxy HTTP
• Un nou chiuveta Hadoop valori care permite scrierea direct cu grafit.
• Specificații pentru Hadoop efort Filesystem Compatibil.
• Suport pentru atributele extinse POSIX-stil de sistem de fișiere.
• OfflineImageViewer pentru a căuta un fsimage prin intermediul API WebHDFS.
• îmbunătățiri suportabilitate și bug fixat la gateway-ul NFS.
• Web Modernizate UIS (HTML5 și Javascript) pentru daemon HDFS.
• suport REST API-uri FIRE de depunere și de ucidere aplicații.
• Integrarea Kerberos pentru magazinul cronologia YARN lui.

Ce este nou în versiunea 2.4.0:

• Suport pentru controlul accesului în listele HDFS
• Suport nativ pentru Rolling Upgrade-uri HDFS
• Utilizarea protocolului tampoane pentru HDFS FSImage pentru upgrade-uri operaționale netede
• Suport HTTPS complet în HDFS
• Suport pentru Automatic failover a FIRE ResourceManager
• Suport îmbunătățit pentru noi aplicații cu FIRE Istoric Application Server și Application Server Timeline
• Suport pentru SLAs puternic în CapacityScheduler FIRE via Precedența

Ce este nou în versiunea 2.3.0:.

• Suport pentru ierarhie heterogen de stocare în HDFS
• În memorie cache de date pentru HDFS cu administrare centralizată și de management.
• Distribuirea simplificată a binarelor MapReduce prin HDFS în FIRE Cache distribuite.

Ce este nou în versiunea 2.2.0:

• FIRE - Un sistem de gestionare a resurselor de uz general pentru Hadoop pentru a permite MapReduce și a altor alte cadre și servicii de prelucrare a datelor
• Disponibilitate ridicată pentru HDFS
• HDFS Federația
• HDFS Instantanee
• acces la date NFSv3 în HDFS

Ce este nou în versiunea 2.1.0-beta:

• HDFS Instantanee
• Suport pentru rularea Hadoop pe Microsoft Windows
• stabilizare FIRE API

Ce este nou în versiunea 2.0.3-alpha:

• QJM pentru HDFS HA ​​pentru NameNode
• Programarea multi-resurse (CPU și memorie) pentru FIRE
• FIRE ResourceManager Repornire
• stabilitate semnificativă la scara pentru FIRE (peste 30.000 de noduri și 14 milioane de cereri până în prezent, la momentul de eliberare)

Ce este nou în versiunea 1.0.0:.

• O mai bună securitate
• HBase (adăugați / hsynch / hflush și securitate).
• webhdfs (cu suport complet pentru securitate).
• Performanță sporită de acces la fișierele locale pentru HBase.
• Alte îmbunătățiri ale performanței, bug fixat, și caracteristici.

Ce este nou în versiunea 0.20.2:

• Buffer RPC Server de trimitere își păstrează dimensiunea mai mare de răspuns vreodată trimis.
• C ++ biblioteci nu a construi pe Debian Lenny.
• Unele c ++ script-uri nu sunt chmodded înainte de executarea de furnici.
• Streaming:. Proces furnizat mesaje de stare sunt suprascrise la fiecare 10 seoncds
• IllegalArgumentException atunci când CombineFileInputFormat este utilizat ca InputFormat de locuri de muncă.
• bug-uri multiple w / arhivele Hadoop.
• Se permite punerea în cache de instanțe sistem de fișiere să fie dezactivate pe o bază per instanță.
• lipsă de sincronizare pentru defaultResources în Configuration.addResource.
• GzipCodec nu ar trebui să reprezinte BuiltInZlibInflater ca decompressorType.
• NameNode lui HttpServer nu se poate instanția InetSocketAddress: IllegalArgumentException este aruncat
.
• HttpServer doarme cu valori negative.
• Namenode se execută de ieșire din memorie din cauza scurgerilor de memorie în Server ipc.
• IPC client bug-ul poate provoca apel rpc închide.
• teste de a preveni restul In caz contrar obiectivelor de testare de la executare.
• teste Contrib eșuează Clover'ed construi.
• Testele nu rulează pe ramură de 0,20.
• TestStreamingStatus eșuează la 0,20 ramură.