Czy można przyspieszyć czytanie i kompresowanie gzipowanych plików w locie?

Question

Czytam plik gzipped korzystając iostreams doładowania: Poniższy działa dobrze:

namespace io = boost::iostreams; 
    io::filtering_istream in; 
    in.push(boost::iostreams::basic_gzip_decompressor<>()); 
    in.push(io::file_source("test.gz")); 
    stringstream ss; 
    copy(in, ss); 

Jednak nie chcę podjąć trafienie pamięci czytania całego pliku gzip do pamięci. Chcę móc czytać plik przyrostowo.

Na przykład, jeśli mam struktury danych X, które inicjuje się od istream,

X x; 
x.read(in); 

zawiedzie. Prawdopodobnie dzieje się tak dlatego, że jeśli będziemy robić częściowe strumienie, będziemy musieli przywrócić znaki w strumieniu . Jakieś pomysły, czy boost iostreams obsługuje to?

Answer 1

Zgodnie z iostream documentation typ boost::io::filtering_istream pochodzi z std::istream. Oznacza to, że powinno być możliwe przekazywanie tego wszędzie, gdzie oczekiwany jest std::istream&. Jeśli masz błędy w czasie wykonywania, ponieważ trzeba unget() lub putback() znaków należy spojrzeć na parametrze pback_size który określa ile znaków są co najwyżej zwrot. Nie widziałem w dokumentacji, jaka jest domyślna wartość tego parametru.

Jeśli to nie rozwiąże problemu można opisać problem jest dokładnie? Od jego wyglądu powinno działać.

Answer 2

myślę, że trzeba napisać swój własny filtr. Na przykład, aby czytać .tar.gz i wysyłać pliki zawarte, napisałem coś

//using namespace std; 
namespace io = boost::iostreams; 

struct tar_expander 
{ 
    tar_expander() : out(0), status(header) 
    { 
    } 
    ~tar_expander() 
    { 
     delete out; 
    } 

    /* qualify filter */ 
    typedef char char_type; 
    struct category : 
     io::input_filter_tag, 
     io::multichar_tag 
    { }; 

    template<typename Source> 
    void fetch_n(Source& src, std::streamsize n = block_size) 
    { 
      /* my utility */ 
      .... 
    } 

    // Read up to n filtered characters into the buffer s, 
    // returning the number of characters read or -1 for EOF. 
    // Use src to access the unfiltered character sequence 
    template<typename Source> 
    std::streamsize read(Source& src, char* s, std::streamsize n) 
    { 
     fetch_n(src); 
     const tar_header &h = cast_buf<tar_header>(); 
     int r; 

     if (status == header) 
     { 
      ... 
     } 
     std::ofstream *out; 
     size_t fsize, stored; 

     static const size_t block_size = 512; 
     std::vector<char> buf; 

     enum { header, store_file, archive_end } status; 
    } 
} 

mojej funkcji read(Source &...) kiedy nazywa odbiera tekst rozpakowany. Aby użyć filtra:

ifstream file("/home/..../resample-1.8.1.tar.gz", ios_base::in | ios_base::binary); 
io::filtering_streambuf<io::input> in; 
in.push(tar_expander()); 
in.push(io::gzip_decompressor()); 
in.push(file); 
io::copy(in, cout);