Dekompresuj tylko określony blok bzip2.

Question

Powiedz, że mam plik bzip2 (ponad 5 GB) i chcę rozpakować tylko blok #x, ponieważ tam są moje dane (blok jest inny za każdym razem). Jak to zrobić?

Zastanowiłem się nad utworzeniem indeksu miejsc, w których znajdują się wszystkie bloki, a następnie wyciąć potrzebny blok z pliku i zastosować do niego bzip2recover.

Też myślałem o kompresji powiedzmy 1MB na raz, a następnie dołączając to do pliku (i nagrywając lokalizację) i po prostu chwytając plik, kiedy go potrzebuję, ale wolałbym zachować nienaruszony oryginalny plik bzip2.

Moim preferowanym językiem jest Ruby, ale rozwiązanie dowolnego języka jest w porządku (o ile rozumiem zasadę).

Answer 1

Jest http://bitbucket.org/james_taylor/seek-bzip2

Grab źródła, skompilować.

Run z

./seek-bzip2 32 < bzip_compressed.bz2 

przetestować.

Jedynym parametrem jest bitowa przemieszczenie nagłówka zastanawianego bloku. Możesz go uzyskać, znajdując w pliku binarnym ciąg szesnastkowy "31 41 59 26 53 59". TO NIEPRAWIDŁOWO. Początek bloku może nie być wyrównany do granicy bajtu, więc powinieneś wyszukać wszystkie możliwe przesunięcia bitowe ciągu "31 41 59 26 53 59", jak to jest w bzip2recover - http://www.bzip.org/1.0.3/html/recovering.html

32 jest bitowym rozmiarem "BZh1 "nagłówek, gdzie 1 może być dowolną cyfrą od" 1 "do" 9 "(w klasycznym bzip2) - jest to (nieskompresowany) rozmiar bloku w setkach kb (nie dokładny).

Answer 2

To prawda, że ​​tabela bzip jest prawie tak samo wolna jak dekompresja, ale oczywiście trzeba to zrobić tylko jeden raz i można zapisać wynik w pewien sposób do wykorzystania jako indeks. Jest to idealne rozwiązanie dla tego, czego potrzebuję, ale może nie być tym, czego każdy potrzebuje.

Potrzebowałem niewielkiej pomocy przy kompilacji w systemie Windows.