Apache Hadoop

Datele mari reprezintă un termen de marketing care cuprinde întreaga idee a datelor extrase din surse cum ar fi motoarele de căutare, modelele de cumpărături pentru magazinele de produse alimentare urmărite prin carduri de puncte etc. În lumea modernă, internetul are atât de multe sursele de date, care, de cele mai multe ori, scară fac imposibilă, fără prelucrare și prelucrare, ar necesita un număr incredibil de timp de către un singur server. Introduceți Apache Hadoop

Utilizând arhitectura Hadoop pentru a distribui sarcini de procesare pe mai multe mașini într-o rețea , timpul de procesare este scăzut astronomic, iar răspunsurile pot fi determinate în timp rezonabil. Apache Hadoop este împărțit în două componente diferite: o componentă de stocare și o componentă de procesare. În termeni simpli, Hapood face un server virtual din mai multe mașini fizice . În actualitate, Hadoop gestionează comunicarea între mai multe mașini astfel încât acestea să lucreze împreună îndeajuns de îndeaproape încât să apară ca și cum ar fi o singură mașină care lucrează la calcul. Datele sunt distribuite pe mai multe mașini sarcinile de procesare sunt alocate și coordonate de arhitectura Hadoop

. Acest tip de sistem este o cerință pentru conversia datelor brute în informații utile privind scara de intrări mari de date. Luați în considerare cantitatea de date primite de Google în fiecare secundă de la utilizatorii care introduc cereri de căutare. Ca o sumă totală de date, nu știați de unde să începeți, dar Hadoop va reduce în mod automat setul de date în subseturi mai mici de date organizate și va atribui acești subgrupuri administrabile unor resurse specifice. Toate rezultatele sunt apoi raportate și asamblate în informații utile .

Un server ușor de setat

Deși sistemul sună complex, majoritatea pieselor în mișcare sunt ascunse în spatele abstractizării. Configurarea serverului Hadoop este destul de simplă , trebuie doar să instalați componentele serverului pe hardware care îndeplinește cerințele de sistem. Partea mai dificilă este planificarea rețelei computerelor pe care serverul Hadoop va utiliza pentru a distribui rolurile de stocare și prelucrare. Acest lucru poate implica configurarea unei rețele locale sau conectarea mai multor rețele pe Internet . De asemenea, puteți utiliza serviciile cloud existente și puteți plăti pentru un cluster Hadoop pe platforme populare de tip cloud precum Microsoft Azure și Amazon EC2. Acestea sunt chiar mai ușor de configurat, deoarece le puteți spin-le ad-hoc și apoi dezafectați grupurile atunci când nu mai aveți nevoie de ele. Aceste tipuri de clustere sunt ideale pentru testare deoarece plătiți numai pentru timpul în care este activ clusterul Hadoop.

Procesați datele pentru a obține informațiile de care aveți nevoie

Datele mari sunt o resursă extrem de puternică, dar datele sunt inutile dacă nu pot fi clasificate în mod corespunzător și transformate în informații. În prezent, grupurile Hadoop oferă o metodă extrem de rentabilă pentru prelucrarea acestor colecții de date în informații.