S3QL

S3QL susține Amazon S3, precum și servere SFTP arbitrare și eficient vă oferă un hard disk de capacitate dinamic, infinit, care poate fi accesat de la orice calculator cu acces la internet.
S3QL oferă un standard de sistem de fișiere cu caracteristici complete UNIX, care este conceptual imposibil de distins de orice sistem de fișiere local. Mai mult decât atât, S3QL are caracteristici suplimentare, cum ar compresie, criptare, date de-duplicarea, copaci imuabile și snapshotting care fac potrivit în special pentru backup online și arhivare.
S3QL este conceput pentru a favoriza simplitate și eleganță peste performanță și feature-fluaj. Care a fost luată pentru a face codul sursă ca ușor de citit și de funcționare în care este posibil. Detectarea erorilor masiv și tratarea erorilor au fost incluse din prima linie, și S3QL vine cu cazuri de extinse de testare automate pentru toate componentele sale.
Înainte ca un sistem de fișiere poate fi montat, backend care va deține datele trebuie să fie inițializat. Acest lucru se face cu comanda mkfs.s3ql. Aici vom folosi backend Amazon S3, și-nikratio s3ql-găleată este găleata S3 în care vor fi stocate în sistemul de fișiere.
mkfs.s3ql s3: // nikratio-s3ql-bucket
Pentru a monta sistemul de fișiere S3QL stocat în găleată nikratio_s3ql_bucket S3 în directorul / mnt / s3ql, introduceți:
mount.s3ql s3: // nikratio-s3ql-cupă / mnt / s3ql
Acum puteți instrui programul de backup favorit pentru a rula o copie de rezervă în directorul / mnt / s3ql și datele vor fi stocate un S3 Amazon. Când ați terminat, sistemul de fișiere trebuie să fie demontat cu
umount.s3ql / mnt / s3ql

Caracteristici :

• Transparență. Conceptual, S3QL este imposibil de distins de un sistem de fișiere local. De exemplu, acesta susține hardlinks, legături simbolice, permisiuni complete UNIX, atributele extinse și fișier cu dimensiuni de până la 2 TB.
• dinamică Size. Dimensiunea unui sistem de fișiere S3QL crește și se contractă dinamic cum este necesar.
• compresie. Înainte de depozitare, toate datele pot comprimat cu LZMA, bzip2 sau algoritmul LZ.
• Criptare. După comprimare (dar înainte de încărcare), toate datele pot criptate AES cu o cheie de 256 biți. O suplimentare de control SHA256 HMAC este folosit pentru a proteja datele împotriva manipulării.
• Data De-duplicarea. Dacă mai multe fișiere au conținut identic, datele redundante vor fi stocate doar o singură dată. Aceasta funcționează pe toate fișierele stocate în sistemul de fișiere, precum și, de asemenea, în cazul în care numai anumite părți ale fișierelor sunt identice în timp ce în alte părți diferă.
• Copaci imuabile. Arbori Director pot fi făcute imuabil, astfel încât conținutul lor nu mai poate fi schimbat în vreun fel. Acest lucru poate fi folosit pentru a se asigura că backup nu pot fi modificate după ce au fost făcute.
• -Copy on-scriere / snapshotting. S3QL poate reproduce copaci întregi director fără a folosi nici un spațiu de stocare suplimentar. Numai dacă unul dintre copii este modificat, partea a datelor care a fost modificată va dura până spațiu de stocare suplimentar. Acest lucru poate fi folosit pentru a crea instantanee inteligente care păstrează starea de un director la diferite momente de timp, folosind o cantitate minimă de spațiu.
• High Performance independent de latenta retelei. Toate operațiunile care nu scrie sau citi conținutul fișierelor (cum ar fi crearea directoare sau mutarea, redenumirea, precum și schimbarea permisiunilor de fișiere și directoare) sunt foarte rapide, deoarece acestea sunt realizate fără tranzacții de rețea.
• S3QL realizeaza acest lucru prin salvarea întregul dosar și structura de directoare într-o bază de date. Această bază de date este în cache la nivel local și copia de la distanță actualizat asincron.
• Suport pentru conexiuni de lățime de bandă de mici. S3QL împarte conținutul fișierului în blocuri mai mici și memorează în cache blocuri la nivel local. Aceasta minimizează atât numărul de tranzacții de rețea necesare pentru a datelor de citire și scriere, precum și cantitatea de date care trebuie să fie transferat, atunci când doar o parte dintr-un fișier sunt citite sau scrise.

Ce este nou în această versiune:

• Încercările de a actualiza un sistem de fișiere care este deja la cea mai nouă revizuire nu mai face metadatele locale copia inutilizabil.
• Google numele de cupe de stocare care conțin puncte nu mai provoca probleme cu validarea certificat SSL.
• Rezolvă-un accident, atunci când statvfs () este numit pe un sistem de fișiere aproape gol.
• este un nou & quot; swiftks & quot; backend pentru OpenStack / servere Swift.
• Elimină o condiție cursă care ar putea duce la prăbușirea mount.s3ql cu o & quot; KeyError în colecții / abc.py & quot;.
• Fixat un accident care ar putea apărea atunci când încearcă să curețe după ce a primit o eroare de conexiune sau de server la încărcarea unui obiect.

Ce este nou în versiunea 2.2:

• S3QL juca acum conexiunile SSL în mod implicit și verifică certificate de server.
• O condiție cursa care a dus la o pierdere aparentă a metadatelor la distanță a fost stabilit.
• backend S3 șterge acum mai multe obiecte de stocare, folosind o cerere, dacă este posibil, reducerea latență, trafic, precum și numărul de cereri de S3.
• S3QL este acum capabil să detecteze erorile de server și redirectionari înainte ca toate datele au fost trimise la server.
• O nouă backend "Rackspace", care permite specificarea regiunii de stocare obiect în URL-ul de stocare a adăugat.
• Opțiunea --compress mount.s3ql permite acum specificația nivelul de compresie.

Ce este nou în versiunea 1.15:

• Ciclism de backup de metadate atunci când se utilizează backend locală acum nevoie de mult mai puțin timp.
• nu mai este necesar ca S3QL și Python APSW fi legate de biblioteca partajată aceeași SQLite.
• În mount.s3ql, un accident atunci când se utilizează --metadata-upload-interval 0 a fost stabilit.
• În loc de demontare complet sistemul de fișiere (și lăsând punctul de montare inaccesibil) atunci când datele backend lipsește sau este corupt, S3QL returnează acum o eroare și switch-uri pentru a citi-doar operație.

Ce este nou în versiunea 1.13:

• Această versiune stabilește un bug care a cauzat metadate incorect să fie scrise când utilizați versiunile recente eglibc.
• Se rezolvă probleme atunci când încearcă să acceseze un director la rădăcina sistemului de fișiere care a fost recent îndepărtat cu s3qlrm.
• sprijin aparent ACL a fost eliminat.
• Această versiune mai bune mânere galeti cu nume DNS invalid.
• Se va reîncerca dacă DNS nu este disponibil.

Ce este nou în versiunea 1.11.1:

• Această versiune rezolvă un accident atunci când se utilizează backend S3 (regresie introdus în comunicat 1.11), crește minim raportat la dimensiune sistem de fișiere la 1 TB, și lucrează în jurul un bug df astfel dimensiunea este raportat corect.

Ce este nou în versiunea 1.11:

• metadate despre obiecte stocate este acum împărțită în mai multe domenii, așa nu câmp este mai mare de 256 bytes. (Acest lucru face S3QL compatibil cu o gamă mai largă de furnizori de stocare.) Backend SWIFT reîncearcă acum în cazul în care primește 5xx codurile de eroare de la serverul de la distanță, și nu mai reușește atunci când încercați să încărcați de date cu un jeton auth expirat.

Ce este nou în versiunea 1.10:

• S3S, s3cs, și backend GSS au fost eliminate. Utilizați noua opțiune --ssl împreună cu S3, S3C, și GS backend în loc.
• S3QL nu mai ține evidența garanțiilor de coerență pentru diferite backend.
• Numărul tot mai mare de diferiți furnizori de stocare, oferind diferite regiuni, redundanță, și nivelurile de disponibilitatea face acest lucru nu mai este posibil.
• Ghidul utilizatorului conține o secțiune nouă, & quot; reguli importante pentru a evita pierderea datelor & quot;.
• Lectura este foarte recomandat.

Ce este nou în versiunea 1.9:

• Această versiune face ori de fișiere nu mai schimba la schimbarea sistemului fusul orar, remedieri si imbunatateste contrib / benchmark.p, stabilește & quot; prea multe redirectionari lant & quot; bug, reîncearcă pe erori de server 5xx, și adaugă suport experimental nativ pentru servere OpenStack / SWIFT și suport proxy experimental.

Ce este nou în versiunea 1.8:

• A & quot; ValueError: Nu se poate benă valori NULL & quot; accident de când metadate sistem de fișiere a fost încărcat în timpul activității sistemului de fișiere greu a fost stabilit.
• s3qlcp și director listarea de performanță pentru directoare foarte mari au fost îmbunătățite.
• O regresie performanță rm a fost stabilită.
• -. Blocksize a fost redenumită la --max-size obj
• Unele accidente care au avut loc în utilizare a sistemului de fișiere puternic concurent au fost stabilite.
• python-llfuse 0,37 este folosit.

Limitări :

• Nu există încă o multime de bug-uri în codul și ar trebui să fie gata pentru a face față ele. Cu toate acestea, puteți fi rezonabil siguri ca bug-uri (deși incomod) nu va pune în pericol datele stocate.