bardziej efektywny sposób na zbieranie napisów

Question

Moduł pikle wydaje się używać znaków ucieczki napisów podczas pikowania; staje się to nieefektywne, np. na niezliczonych tablicach. Rozważ następujące wartości: 1133 znaki i 4249 znaków. Długość znaków wynosi 1133 znaki i 4249 znaków.

z.dumps() odsłania coś w rodzaju "\ x00 \ x00" (rzeczywiste zera w łańcuchu), ale pikle wydaje się używać funkcji repr() ciągu znaków, podając "'\ x00 \ x00'" (zera jest ascii zer).

czyli ("0" w z.dumps() == false) i ("0" w cPickle.dumps (z.dumps()) == true)

Answer 1

Spróbuj użyć nowszej wersji protokół pikle z parametrem protokołu do pickle.dumps(). Wartością domyślną jest 0 i jest to format tekstowy ASCII. Są one większe niż 1 (sugeruję używanie pickle.HIGHEST_PROTOCOL). Formaty protokołów 1 i 2 (oraz 3, ale dla py3k) są binarne i powinny być bardziej konserwatywne.

Answer 2

Rozwiązanie:

import zlib, cPickle 

def zdumps(obj): 
    return zlib.compress(cPickle.dumps(obj,cPickle.HIGHEST_PROTOCOL),9) 

def zloads(zstr): 
    return cPickle.loads(zlib.decompress(zstr)) 

>>> len(zdumps(z)) 
128 

Answer 3

Ulepszenie odpowiedzi vartec jest, że wydaje się nieco więcej pamięci efektywne (ponieważ nie zmusza wszystko na sznurku):

def pickle(fname, obj): 
    import cPickle, gzip 
    cPickle.dump(obj=obj, file=gzip.open(fname, "wb", compresslevel=3), protocol=2) 

def unpickle(fname): 
    import cPickle, gzip 
    return cPickle.load(gzip.open(fname, "rb")) 

Answer 4

z.dumps() jest już marynowane ciąg znaków, tzn. można go rozpakować za pomocą metody pickle.loads():

>>> z = numpy.zeros(1000, numpy.uint8) 
>>> s = z.dumps() 
>>> a = pickle.loads(s) 
>>> all(a == z) 
True