[Lugor] Komprimieren mit xz

Sven-tek sven-tek at gmx.de
Mi Jul 10 13:26:51 CEST 2013


Hi Michael

finde ich sehr interessant. Wie ist denn der Performance Hunger beim Extrahieren. Ich vermute geringer unterschied oder?

Extract Speed und Performance ist zlib noch vorn glaube ich.

Gruß, Sven


Von Samsung Mobile gesendet

-------- Original message --------
Subject: [Lugor] Komprimieren mit xz 
From: Michael Gisbers <michael at gisbers.de> 
To: linux at lugor.de 
CC:  

Hallo zusammen,

ich muss es mal loswerden:

Ich liebe 'xz'!!!

Auf die Frage 'wer ist denn das' kann ich meine Frau beruhigen. Das ist
keine Person, sondern ein Programm zur Komprimierung von Daten.

Gestern Abend musst für einen Kunden eine virtuelle Maschine gesichert (vzdump) und zur Seite gelegt werden. Das Resultat war:

-rw-r--r--  1 root    root     53G Jul  9 19:07 vzdump-openvz-2157-2013_07_09-18_55_43.tar

Also ein 53G großes tar-Archiv. Damit wollte ich mich nicht abfinden und dachte, dass ich da noch etwas an Volumen einsparen kann.

Nach der Komprimierung mit bzip2 sah es dann wie folgt aus:

-rw-r--r--  1 root    root     16G Jul  9 19:07 vzdump-openvz-2157-2013_07_09-18_55_43.tar.bz2

Ein ganz netter Erfolg 53G auf 16G geschrumpft, also 37G gespart. Nach diesem Versuch wurde ich übermütig und habe dann mal einen noch härteren Kompressor genutzt: xz

-rw-r--r--  1 root    root    2.5G Jul  9 19:07 vzdump-openvz-2157-2013_07_09-18_55_43.tar.xz

Auch wenn es so aussieht, als hätte ich einiges an Daten weggeworfen: NEIN

'xz' hat es geschafft aus 53G kleine 2.5G zu machen. Damit sind 50.5G weggeschrumpft durch den einfachen Aufruf von

xz vzdump-openvz-2157-2013_07_09-18_55_43.tar

Die Kehrseite der darf natürlich nicht unerwähnt bleiben. 'xz' benötigt Unmengen an Rechenzeit um die optimale Komprimierung für die Daten herauszufinden. Konkret hat dieser Vorgang fast 5 Stunden auf einer 2GHz Xeon CPU gefordert.

Das kommt daher, dass der normale 'xz' Befehl nur mit einem Prozessorkern arbeitet. 'pixz' ist eine parallelisierte Variante, die die Arbeit auf alle verfügbaren Kerne verteilt (bei mir wären das dann 24 Kerne gewesen) und damit die Abarbeitungszeit deutlich verkürzt.

Aber, egal wie lang es auch gedauert hat: Das Ergebnis kann sich sehen lassen!

Gruß
-- 
Michael Gisbers
http://gisbers.de

_______________________________________________
Mailingliste der Linux Usergroup Oberhausen
Rheinland (LUGOR) e. V.
linux at lugor.de
http://mailman.mylinuxtime.de/mailman/listinfo/linux
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://mailman.mylinuxtime.de/pipermail/linux/attachments/20130710/3de98fba/attachment.html>


Mehr Informationen über die Mailingliste linux