Pcompress

Pcompress este un utilitar open source de linie de comandă comprimare paralel, decompresie și deduplicare, prin divizarea datele de intrare în bucăți.
Pcompress oferă compresie Delta, opțiune bloc fix, de compresie de metadate, suport pentru mai multe algoritmi, inclusiv LZMA, LZMA-multithreaded, PPMD, Bzip2 sau LZ4, integritatea datelor puternic, filtre, Matrix transforma, criptare, autentificare mesaj, metadate, prelucrare suprapus, personalizat de repartizare, modul de solid, umplutură, și mult mai mult

Ce este nou în această versiune:.

• Aceasta este o versiune majoră oferind sprijin arhivarea bazat pe Libarchive. Tehnici avansate sunt folosite pentru a detecta tipuri de fișiere și de a folosi algoritmi adecvate pentru a comprima mai bine. Filtre ca PackJPG pentru JPEG si Dispack pentru executabile sunt folosite pentru a îmbunătăți compresibilitatea. Câteva euristica ajuta la detectarea de date deja comprimate și pentru a evita măsurile de compresie costisitoare. Intrări Arhiva sunt, de asemenea, sortate a cluster conținut relevant și pentru a atinge mai bine de compresie. Limite părți Datele pentru fire paralele multiple sunt determinate de tipul de fișier și modificări hash de rulare. Tehnici mmap și Zero-Copy sunt folosite intern ori de câte ori este posibil pentru a îmbunătăți performanța. Unele optimizări au fost, de asemenea, face pentru a reduce utilizarea memoriei. Utilizare a fost simplificată cu cele mai multe caracteristici configureze automat, pe baza nivelul de compresie.
• Cu aceste schimbări Pcompress poate acționa ca un arhivator cu drepturi depline, cum ar fi gudron sau cpio și oferă rapoarte de compresie mai bune și o performanță mai bună decât modul de compresie singur fișier. Pcompress compara foarte favorabil cu alte utilități de conducere Archiver.

Ce este nou în versiunea 2.4:

• Această versiune rezolvă mai multe probleme, inclusiv unele accidente de caz colț și o pereche de buffer overflow.
• Datele de deduplicare poate fi acum face folosind blocuri mici, 2KB, oferind un raport dedupe mult mai mare decât orice alt software deduplicarea.
• Similitudinea performanță deduplicare bazat a fost îmbunătățită.
• precizie de detectare memorie gratuit a fost de asemenea îmbunătățită.

Ce este nou în versiunea 2.3:

• Această versiune rezolvă câteva bug-uri și oferă mai multe îmbunătățiri în materie de eficiență și performanță.
• Eficacitatea detectare Similitudinea pentru similitudine bazat aproape exact deduplicare a fost îmbunătățită.
• În aceleași cerințe de memorie timp pentru indicele a fost redus.
• Precizie de partiționare a datelor între fire a fost îmbunătățită.
• Smulgere și performanță indexare au fost îmbunătățite și calcularea KMV Sketch este acum mult mai precis.
• Această versiune mută toate funcționalitatea de bază într-o bibliotecă partajată în curs de pregătire pentru o interfață API care va fi introdusă în edițiile viitoare.

Ce este nou în versiunea 2.2:.

• Acesta este în primul rând un comunicat de Bugfix
• Se corectează unele accidente cu intrare invalid și de a construi problemele pe Debian6 și procesoare non-SSE4 mai mari.
• potrivire Similitudinea Min-heap based pentru Delta codare a fost îmbunătățit și a făcut mai rapid și mai precis.
• Precizie de scalabile segmentate Global de deduplicare a fost îmbunătățit în continuare să fie mai mare de 95%.
• Mai multe testcases nu a fost adaugata.

Ce este nou în versiunea 2.1:.

• Această versiune adaugă rezolvări ale unor probleme și îmbunătățiri de performanță multe
• Precizie în găsirea duplicate in Global Dedupe a fost îmbunătățită.
• SHA256 este acum algoritmul implicit bloc hash pentru dedupe, cu posibilitatea de a schimba separat de hash de verificare bucată.
• În general, multe îmbunătățiri de performanță au fost făcute cu mai bine paralelism, mai SSE vectorizare, și mai rapid sortare și îmbunătățirea gestionării segment haș listă, care rezultă în mai mic I / O și mai puține accese aleatoare.
• bug-uri în calcul în memorie dimensiuni indice a fost fixat pentru a evita refuz RAM liber și schimbarea la disc.