DataCleaner

DataCleaner este o sursă deschisă și soluție complet gratuit pentru organizații și întreprinderi care doresc să crească și măsura calitatea datelor lor.
Cu DataCleaner, utilizatorii vor putea să profil, compara, validarea datelor împotriva reguli de afaceri, și să monitorizeze progresul acestor măsurători în timp.
Printre caracteristicile sale, putem menționa de monitorizare a datelor, profilare și analiza datelor DQ, curatare de date și îmbogățirea, detecta și merge duplicate, calitatea datelor clientului, precum și ETLightweight super-rapid (Extract Transform-Load-).
Pentru a afla mai multe despre funcțiile și capacitățile DataCleaner lui, precum și modul de a lucra cu ea, vă rugăm să consultați http://eobjects.dk/docs

What este nou în această versiune :

• Îmbunătățiri și noi caracteristici:
• Ne-am făcut posibilă crearea și fixați tabele prin interfața desktop de DataCleaner. Rețineți că termenul & quot; masa & quot; aici de fapt, acoperă mai mult de tabele de baze de date relaționale doar. Acesta include, de asemenea foi în datastores MS Excel, Colecții în MongoDB, tipuri documentului în CouchDB și ElasticSearch și așa mai departe ... Practic toate tipurile de Datastore care acceptă scrie-operațiuni, cu excepția datastores o singură masă, cum ar fi datastores CSV, acceptă această funcționalitate! Funcționalitatea este expus prin:
• & quot; Creați masă & quot; activat prin intermediul meniului clic-dreapta a scheme în arborele din partea stângă a aplicației.
• & quot; Creați masă & quot; activat, de asemenea, prin intrările de masă de selecție în componente cum ar fi insera în tabel, tabel de căutare și de masă Actualizare.
• & quot; drop masă & quot; activat prin intermediul meniului clic-dreapta a tabelelor din arborele din partea stângă a aplicației.
• Am adăugat (opțional) capacitatea de a specifica serviciul dvs. de web Salesforce.com Endpoint URL. Acest lucru vă permite să utilizați DataCleaner a se conecta la mediile sandbox de Salesforce.com, precum și pentru propriile obiective personalizate.
• Sprijinul ElasticSearch a fost îmbunătățită, permițând mapări personalizate, precum și reutilizarea definițiile Datastore ElasticSearch acum, de asemenea, pentru căutarea și indexarea.
• Prelevarea de probe de înregistrări și selecție a potențialilor duplicate în funcția de detectare duplicat a fost îmbunătățită, ceea ce duce la configurarea mai repede, deoarece deciziile luate în timpul sesiunii de instruire sunt mai reprezentative.
• formatul de fișier model de detectare duplicat a fost actualizat, care a eliminat necesitatea unui fișier "de referință" separat în scopul de a salva de decizii de formare anterioare. Compatibilitatea cu formatul vechi a fost reținut, dar folosind noul format adaugă multe beneficii pentru experiența utilizatorului.
• Remedieri de erori:
• O problemă fir foame a fost stabilită în DataCleaner monitor. Impactul acestei probleme a fost mare, dar sa întâmplat numai în cazuri rare și foarte personalizate. Dacă ascultător personalizate obiecte pe monitor DataCleaner ar arunca o eroare, care ar duce la o resursă nu a fost eliberat și a lua un fir de la piscina Quartz-programare pe server. Dacă acest lucru se va întâmpla de multe ori serverul ar putea rula în cele din urmă din fire in care piscina.
• Meniul vertical pe ecran rezultatul este acum un loc de muncă adecvat de afișare etichetele componentelor care au rezultate. Acest lucru face mai ușor de recunoscut, care element de meniu de puncte la ceea ce element rezultat.

Ce este nou în versiunea 3.5.7:

• Transformarea "Sinonim căutare" are acum o opțiune să se uite în fiecare semn de intrare. Acest lucru este util dacă faci înlocuirea sinonime în valorile de un câmp de text lung.
• Blocarea executarea de locuri de muncă prin intermediul DataCleaner serviciu web monitorului pentru acest lucru ar putea eșua uneori cu un bug cauzate de firul de blocare. Această problemă a fost stabilit.
• O îmbunătățire a fost făcută în modul în care locurile de muncă și secvența de componente sunt închise / curățate după executarea.
• Versiunea JNLP / Java WebStart de DataCleaner a fost expus de un bug in runtime Java care provoacă anumite fișiere JAR să nu fie recunoscute de lansatorul WebStart, în anumite circumstanțe. Această problemă a fost stabilită prin mici modificări la aceste fișiere JAR.
• Cateva link-uri moarte din documentația a fost stabilit.

Ce este nou în versiunea 3.5.4:

• Acum este posibil pentru a ascunde coloane de ieșire de transformări . Ascunderea nu va afecta fluxul de prelucrare, la toate, dar pur și simplu le ascunde de interfața cu utilizatorul, și, astfel, ar putea face experiența mai curat, atunci când interacționează cu alte componente.
• Un nou serviciu web a fost adăugat la cererea de monitorizare web, care oferă o modalitate de a sondaj statutul executării unui loc de muncă în parte.
• Un bug a fost stabilit, determinând raportul HTML să eșueze pentru anumite tipuri de analize, atunci când au fost prelucrate nu exista rezultate.
• și 6 alte bug minor a fost adresează.

Ce este nou în versiunea 3.5.1:

• Capture modificat înregistrările:
• O nouă filtru s-a adăugat pentru a permite prelucrarea incrementală a înregistrărilor care nu au fost procesate inainte, de exemplu pentru profilare sau copiere înregistrări modificate numai. Numele Noile filtre este Capture schimbat înregistrări, referindu-se la conceptul de captare Change date.
• executarea aºteptare la rând de locuri de muncă:
• Monitorul DataCleaner va coadă acum executarea același loc de muncă, în cazul în care este declanșată de mai multe ori. Acest lucru vă asigură că nu rulați accidental același loc de muncă în același timp, care poate duce la tot felul de probleme, în funcție de ceea ce face locul de muncă.
• bugfixes minore:
• Mai multe bugfixes a fost implementat.

Ce este nou în versiunea 3.5:

• Mai multe vrajitori sunt acum disponibile pentru înregistrarea datastores; inclusiv file-upload la server pentru fișiere CSV, intrarea conexiune de date, înregistrarea ghidat de acreditări Salesforce.com și multe altele.
• vrăjitori de constructii de locuri de muncă au fost, de asemenea, extins cu mai multe caracteristici îmbunătățite; Selecția de distribuție valoare și de model a găsi domenii din expert analiză rapidă, un complet nou expert pentru crearea de locuri de muncă pe bază de curățare EasyDQ client si un nou loc de muncă expert pentru arderea de locuri de muncă Pentaho Data Integration (citeste mai mult de mai jos).
• Puteți acum ad-hoc interogare orice Datastore direct în interfața cu utilizatorul web. Acest lucru îl face ușor pentru a obține perspective rapide sau sporadice în datele fără crearea de locuri de muncă sau alte abordări gestionate de prelucrare a datelor.
• După ce locuri de muncă sunt create sau datastores, utilizatorul este ghidat să ia măsuri cu obiectul nou construit. De exemplu, puteți rula foarte repede un loc de muncă imediat după este construit, sau interoga un Datastore după ce este înregistrat.
• Administratorii acum pot încărca direct de locuri de muncă la magazia, care este deosebit de util dacă doriți să predea-edita conținutul XML fișierelor de locuri de muncă.
• O mulțime de cruft tehnic este acum ascuns în favoarea de a arăta dialoguri simple. De exemplu, atunci când un loc de muncă se declanșează un indicator mare de încărcare este afișat, iar când ați terminat rezultatul va fi afișat. Ecranul de logare avansate, care a fost anterior nu poate fi încă afișate pe clic pe un link pentru detalii suplimentare.

Ce este nou în versiunea 3.1.2:

• Am adăugat un serviciu web în monitorizarea cerere pentru a obține o (lista) valori metrice. Acest lucru face monitorizarea, chiar mai ușor de utilizat ca o componentă cheie a infrastructurii, ca o modalitate de a monitoriza datele (calitate) și expune rezultatele la aplicații terțe părți.
• Componenta "căutare de masă" a fost îmbunătățită prin adăugarea de semantica se alăture ca o proprietate configurabil. Folosind alăture semantica puteți tweak, dacă doriți ca de căutare pentru a lucra semantic ca un LEFT JOIN sau o INTERIOARĂ TE.
• Componentele EasyDQ au fost modernizate, adăugând alte opțiuni de configurare și o interfață mai bogată rezultat deduplicare.
• îmbunătățiri de performanță au fost un accent specific al acestui comunicat. Îmbunătățiri au fost făcute în motorul de DataCleaner de a utiliza în continuare o abordare de prelucrare de streaming în anumite cazuri de colț, care nu a fost acoperit anterior.

Ce este nou în versiunea 3.1.1:

• momentul legate Analiza optiunilor data și au fost extinse , adăugând analizoare de distribuție pentru numere săptămână, luni și ani. Toate analizoare legate de data și ora sunt acum grupate într-un submeniu numit & quot; Data și ora & quot; în & quot; Analiza & quot;.
• O opțională & quot; & quot statistici descriptive; opțiune a fost adăugată la analizor Numărul și analizorul Data / ora. Această opțiune adaugă valori suplimentare la rezultatele acestor analizoare, cum ar fi Median, Skewness, percentile și Kurtosis. Aceste valori sunt opționale, deoarece amprenta de memorie este ceva mai mare decât valorile existente.
• Liniile in top cronologie a aplicatiei web de monitorizare au acum mici puncte în ele. Acest lucru este util mai ales pentru diagrame cu puține (sau chiar numai unul) observații în ele -. Pentru a sublinia exact unde punctele de observație sunt
• parser de interogare când se invocă interogări ad-hoc au fost, de asemenea, îmbunătățit în mod substanțial. Acum interogări pot conține clauze distincte, * -wildcards, subinterogari și sunt fault-tolerant față de problemele de text-caz.
• două transformatoare noi au fost adăugate pentru generarea UUID și pentru generarea amprente de timp.

Ce este nou în versiunea 3.1:

• formule Metric - elaborat de date de calitate KPIs:
• Acum este posibil de a construi mult mai elaborate de date de calitate KPIs in aplicatii web de monitorizare DataCleaner lui. Interfața cu utilizatorul vă permite să construiască formule complexe într-un stil formulă de calcul tabelar-cum ar fi; folosirea variabilelor colectate de locuri de muncă DataCleaner.
• formule metrice pot combina orice număr de metrici, constante și operațiuni, atât timp cât aceasta poate fi exprimată într-o ecuație matematică.
• De exemplu - măsura rata de înregistrări duplicat în procente din numărul total de înregistrare. Sau măsura cantitatea de coduri de produse care sunt conforme cu un set de mai multe modele de coarde.
• Ad-hoc interogarea - de orice Datastore:
• Cu DataCleaner 3.1 puteți efectua acum interogări ad-hoc la orice Datastore! Interogările pot fi exprimate în SQL simplu și va fi aplicat la bazele de date, precum și fișiere, baze de date NoSQL și mai mult, oferind un mecanism de interogare cu adevărat de ajutor să se extindă în experiența dumneavoastră descoperire și datele de profilare.
• Opțiunea de interogare este de asemenea disponibil prin intermediul unui serviciu web pentru a monitoriza utilizatorii cu rolul ADMIN. Interogarea este furnizat ca un parametru HTTP sau POST organism, iar rezultatul este furnizat ca un tabel XHTML.
• Valoarea Matcher - o noua optiune de analiza:
• De multe ori ai o idee fermă pe care ar trebui să fie permisă și de așteptat pentru un anumit domeniu de valori. În DataCleaner acolo a fost întotdeauna opțiunea de analiză valoarea de distribuție care ar ajuta să vă afirma presupunerile. În DataCleaner 3.1, deși, ai o ofertă mai precisă - pentru Meciuri Value. Această opțiune analiză vă permite să specificați un set de valori așteptate și apoi efectuați o distribuție de valoare cum ar fi analiza, în special pentru a valida și de a identifica valori neașteptate.
• Copierea, ștergerea și management de locuri de muncă:
• Managementul de locuri de muncă și rezultate din aplicarea monitor DataCleaner a fost îmbunătățit foarte mult. Puteți face clic pe acum un loc de muncă în pagina Programare a monitorului, și pentru a găsi opțiuni de gestionare disponibile pentru operațiuni, cum ar fi redenumirea, copierea, ștergerea și mai mult. Fiecare operațiune respectă legături cu alte artefacte din monitor, cum ar fi rezultatele analizelor, programe și mai mult. Acest lucru înseamnă că gestionarea depozitul de monitorizare a devenit mult mai ușor și matură.
• Gestionați istoricul calității datelor:
• Uneori te confruntă cu situații în care chiar vrei sa faci o monitorizare cu datele istorice! S-ar putea fi faptul că aveți haldele istorice sau backup-uri ale bazelor de date, pe care doriți să arate și spune povestea. Puteți face acum analiza acestor date istorice, încărcați-l la monitor DataCleaner, și folosind un nou serviciu web, a stabilit un datele istorice care urma analizei special. Acest lucru înseamnă că termenele vor complot în mod corespunzător rezultatele folosind data destinate, dar cu rezultatele pe care le-ați colectat poate la un moment ulterior în timp.
• suport planificator Clustered (numai EE):
• Programatorul de DataCleaner monitor a fost externalizat, astfel încât să poată fi înlocuite cu mijloacele de configurare simplă. În Enterprise Edition (EE) a DataCleaner, oferim un planificator cluster, oferind posibilitatea de a încărca și distribui echilibru execuții dvs. în un grup de mașini.
• Single-signon (SSO) folosind CAS (EE numai):
• În Enterprise Edition (EE) din DataCleaner oferim acum o optiune singur signon pentru aplicarea monitor. Acum DataCleaner poate fi o parte integrantă a infrastructurii IT, de asemenea, securitatea înțelept.
• ... și mult mai mult:
• Cele de mai sus este doar un rezumat. Mai mult de treizeci de probleme au fost rezolvate în această versiune. Am rezolvat mai multe cereri provin din forumuri și comunitate, si incurajam toata lumea sa utilizeze acest mediu ca un vehicul pentru schimbare. Suntem foarte fericiți pentru a face dezvoltarea DataCleaner fi puternic influențată de fluxuri din comunitate.

Ce este nou în versiunea 3.0.3:

• Adaugă un serviciu pentru redenumirea de locuri de muncă în depozitul de monitorizare .
• Puteți accesa acest serviciu Web RESTful sau interactiv în UI.
• un serviciu web a fost adăugat pentru a schimba data de un rezultat istoric analiză în depozitul de monitorizare.
• Aplicarea Web a fost făcută compatibil cu containere moștenire JSF.
• Caching de configurare în aplicația Web a fost mult îmbunătățit, ceea ce duce la ori mai rapid de încărcare pagină și inițializare de locuri de muncă.

Ce este nou în versiunea 3.0.2:

• Când declanșarea unui loc de muncă în aplicația web de monitorizare, panoul auto-actualizează în fiecare secundă pentru a primi cele mai recente starea de execuție.
• pe bază de fișiere datastores (cum ar fi CSV sau Excel foi de calcul) cu căi absolute sunt acum rezolvate corect în aplicația de monitorizare a web.
• & quot; Selectați din cheie / valoare Harta & quot; transformator suportă acum selectați expresii imbricate ca & quot; Address.Street & quot; sau & quot; OrderLines [0] .product.name & quot;.
• Mecanismul de căutare de masă au fost optimizate pentru performanță, folosind declarații pregătite atunci când rulează pe baze de date JDBC.
• Administratorii pot descărca acum datastores pe bază de fișiere direct din & quot; Datastores & quot; pagina.
• Manipularea Excepție în aplicația de monitorizare a web a fost îmbunătățit un pic, ceea ce face mesaje de eroare mai precisă și mai intuitiv.