Jak połączyć dwa lub więcej plików/strumieni gzip

Question

Chcę połączyć dwa lub więcej strumieni gzip bez ich kompresowania.

Mam na myśli, że mam skompresowane do A.gz i B do B.gz, chcę skompresować je do pojedynczego gzip (A + B) .gz bez kompresji po raz kolejny, używając C lub C++.

Kilka uwag:

• Nawet można po prostu concat dwa pliki i gunzip będzie wiedział, jak radzić sobie z nimi, większość programów nie będzie w stanie poradzić sobie z dwoma kawałkami.
• Widziałem kiedyś przykład kodu, który robi to po prostu przez dekompresję plików, a następnie manipulowanie oryginałem i to znacznie szybciej niż normalna ponowna kompresja, ale nadal wymaga operacji O (n) CPU.
• Niefortunnie Nie mogę znaleźć tego przykładu, który znalazłem raz (konkatenacja tylko przy użyciu dekompresji), jeśli ktoś może wskazać to, byłbym wdzięczny.

Uwaga: nie jest to duplikat this, ponieważ proponowane rozwiązanie nie odpowiada moim potrzebom.

Clearification edit:

Chcę concate kilka skompresowanych pices HTML i wysłać je do przeglądarki jako jednej stronie, jak na żądanie: "Accept-Encoding: gzip", z respnse „Content-Encoding: gzip "

Jeśli strumień jest tak prosty jak cat a.gz b.gz >ab.gz, silniki sieciowe Gecko (firefox) i KHTML pobierają tylko pierwszą część (a); IE6 nie wyświetla niczego, a Google Chrome wyświetla pierwszą część (a) poprawnie, a druga część (b) jako śmieci (w ogóle nie rozpakowuje).

Tylko Opera obsługuje tę funkcję.

Potrzebuję więc utworzyć pojedynczy strumień gzip o wartości i wysłać go bez ponownego kompresowania.

Aktualizacja: Znalazłem gzjoin.c w przykładach zlib, robi to za pomocą dekompresji. Problem polega na tym, że dekompresja jest jeszcze wolniejsza niż prosta.

Jest jeszcze szybsza 4 razy, a następnie najszybsza kompresja gzip. Ale to nie wystarczy.

Potrzebuję znaleźć dane, które muszę zapisać razem z plikiem gzip, aby nie uruchomić procedury dekompresyjnej i jak znaleźć te dane podczas kompresji.

Answer 1

Spójrz RFC1951 i RFC1952 Format to po prostu zestaw składający się z członków, z których każdy składa się z trzech części, nagłówka, danych i zwiastuna.Część danych jest sama zbiorem porcji, przy czym każda część ma część nagłówkową i część danych.

Aby symulować efekt gzipingu wyniku konkatenacji dwóch (lub większej liczby plików), należy po prostu dostosować nagłówki (na przykład flaga ostatniej porcji) i zwiastun oraz skopiować części danych.

Istnieje problem, zwiastun ma CRC32 nieskompresowanych danych i nie jestem pewien, czy ten jest łatwy do obliczenia, gdy znasz CRC części.

Edytuj: komentarze w pliku gzjoin.c, które znalazłeś sugerują, że chociaż możliwe jest obliczenie CRC32 bez dekompresji danych, są inne rzeczy, które wymagają dekompresji.

Answer 2

Jeśli tar je ing nie jest wykluczone (ponieważ nie jest związany cat solution opłacalne dla Ciebie):

tar cf A_B.gz.tar A.gz B.gz 

Następnie, aby je odzyskać:

tar xf A_B.gz.tar 

Answer 3

Wygląda na to, że oryginalna kompresja poszczególnych plików jest wykonywana przez Ciebie. Wydaje się również, że pożądany wynik (połączenie kilku elementów) jest wystarczająco mały, aby można go było wysłać do przeglądarki internetowej na jednej stronie. W takim przypadku wątpliwości dotyczące wydajności wydają się być nieuzasadnione.

Należy pamiętać, że (1) podejście gzjoin.c jest wysoce prawdopodobne, aby być najlepszą odpowiedź, że można dostać się do pytania jak podano (2) jest skomplikowany mikrochirurgii wykonywane przez jednego z twórców gzip i nie może zostały poddane rozległym testom warunków skrajnych.

Proszę rozważyć nudne, zrozumiałe i niezawodne podejście: przechowywanie oryginalnych kawałków nieskompresowanych, a następnie wybieranie wymaganych elementów oraz łączenie ich i kompresowanie. Zwróć uwagę, że stopień sprężania może być lepszy niż uzyskany przez sklejanie małych skompresowanych kawałków.

Answer 4

Instrukcja gzip mówi, że dwa pliki gzip mogą być łączone tak, jak próbowałeś.

http://www.gnu.org/software/gzip/manual/gzip.html#Advanced-usage

Wygląda więc na to, że inne narzędzia mogą być złamane. Jak widać w tym raporcie o błędzie. http://connect.microsoft.com/VisualStudio/feedback/ViewFeedback.aspx?FeedbackID=97263

Oprócz zgłaszania raportu o błędach u każdego z twórców przeglądarki, i mając nadzieję, że się do tego stosują, być może Twój program może przechowywać w pamięci podręcznej najczęstsze konkatenacje wymaganych danych.

Jak wspominają inni mogą być w stanie wykonać operację: http://www.gzip.org/zlib/rfc-gzip.html

a to wymaga CRC-32 od ostatecznego pliku nieskompresowanego. Wymagany rozmiar nieskompresowanego pliku można łatwo obliczyć, dodając długość poszczególnych pod-plików.

W dolnej części ostatniego linku znajduje się kod do obliczania działającego crc-32 o nazwie update_crc.

Obliczanie CRC nieskompresowanych plików przy każdym uruchomieniu procesu jest prawdopodobnie tańsze niż sam algorytm gzip.