Dlaczego wielkość tej zmiany Python String na int nieudanej konwersji

Question

Z tweet here:

import sys 
x = 'ñ' 
print(sys.getsizeof(x)) 
int(x) #throws an error 
print(sys.getsizeof(x)) 

Dostajemy 74, a następnie 77 bajtów dla dwóch getsizeof połączeń.

Wygląda na to, że dodajemy 3 bajty do obiektu, z nieudanego połączenia int.

Więcej przykładów z Twittera (być może trzeba ponownie uruchomić Pythona, aby zresetować rozmiary powrotem do 74):

x = 'ñ' 
y = 'ñ' 
int(x) 
print(sys.getsizeof(y)) 

77!

print(sys.getsizeof('ñ')) 
int('ñ') 
print(sys.getsizeof('ñ')) 

74, potem 77.

Answer 1

kod, który konwertuje ciągi do wskazówki w CPython 3,6 requests a UTF-8 form of the string to work with:

buffer = PyUnicode_AsUTF8AndSize(asciidig, &buflen); 

i tworzy ciąg reprezentacja UTF-8 po raz pierwszy, to żądany i caches it on the string object:

if (PyUnicode_UTF8(unicode) == NULL) { 
    assert(!PyUnicode_IS_COMPACT_ASCII(unicode)); 
    bytes = _PyUnicode_AsUTF8String(unicode, NULL); 
    if (bytes == NULL) 
     return NULL; 
    _PyUnicode_UTF8(unicode) = PyObject_MALLOC(PyBytes_GET_SIZE(bytes) + 1); 
    if (_PyUnicode_UTF8(unicode) == NULL) { 
     PyErr_NoMemory(); 
     Py_DECREF(bytes); 
     return NULL; 
    } 
    _PyUnicode_UTF8_LENGTH(unicode) = PyBytes_GET_SIZE(bytes); 
    memcpy(_PyUnicode_UTF8(unicode), 
       PyBytes_AS_STRING(bytes), 
       _PyUnicode_UTF8_LENGTH(unicode) + 1); 
    Py_DECREF(bytes); 
} 

Dodatkowe 3 bajty dotyczą reprezentacji UTF-8.

---

Można się zastanawiać, dlaczego ich wielkość nie zmienia się, gdy ciąg jest coś '40' lub 'plain ascii text'. To dlatego, że jeśli ciąg znaków jest w "compact ascii" representation, Python nie tworzy oddzielnej reprezentacji UTF-8. To returns the ASCII representation directly, który jest już ważny UTF-8:

#define PyUnicode_UTF8(op)        \ 
    (assert(_PyUnicode_CHECK(op)),      \ 
    assert(PyUnicode_IS_READY(op)),     \ 
    PyUnicode_IS_COMPACT_ASCII(op) ?     \ 
     ((char*)((PyASCIIObject*)(op) + 1)) :   \ 
     _PyUnicode_UTF8(op)) 

---

też może się zastanawiać, dlaczego wielkość nie zmienia się na coś takiego '１'. To jest UFF11 FULLWIDTH DIGIT ONE, który int traktuje jako odpowiednik '1'.To dlatego one of the earlier steps w procesie string-to-int to

asciidig = _PyUnicode_TransformDecimalAndSpaceToASCII(u); 

który konwertuje wszystkie białe znaki do ' ' i konwertuje wszystkie cyfry dziesiętne Unicode do odpowiednich cyfr ASCII. Ta konwersja zwraca oryginalny ciąg znaków, jeśli nie powoduje zmiany niczego, ale gdy robi zmiany, tworzy nowy łańcuch, a nowy łańcuch jest tym, który otrzymuje utworzoną reprezentację UTF-8.

---

chodzi o przypadkach zawijających int na jeden ciąg wygląda to wpływa na inny, to są rzeczywiście ten sam obiekt ciągiem. Istnieje wiele warunków, w których Python będzie ponownie używał łańcuchów, równie mocno w Weird Implementation Detail Land, jak wszystko, co do tej pory omawialiśmy. W przypadku 'ñ' ponowne użycie ma miejsce, ponieważ jest to łańcuch jednoliterowy w zakresie Latin-1 ('\x00' - '\xff') oraz implementacja stores and reuses those.

Answer 2

Zgodnie z dokumentacją here:

getsizeof() wywołuje sizeof metody obiektu i dodaje dodatkowy Garbage Collector narzut jeśli obiekt jest zarządzany przez moduł do zbierania śmieci .

Ale nie ma nic wspólnego z getsizeof() Jedno jest przez pewną:

To nie ma nic związanego z modułem sys i metody sys.getsizeof(), problem jest z __sizeof__ metody. mogę odtworzyć błąd bez niego getsizeof():

x = 'ñ' 
print(x.__sizeof__()) 
#74 
int('ñ') 
print(x.__sizeof__()) 
#77 

I wyjaśnić, dlaczego to się dzieje, został dostarczony przez @ user2357112 z przyjętą odpowiedzi