SQLAlchemy i UnicodeDecodeError

Question

Dostaję

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 0: ordinal not in range(128) 

kiedy mijam tekst pochodzących z bazy danych MySQL, który I 'm dostęp przy użyciu SQLAlchemy, do tej funkcji:

re.compile(ur"<([^>]+)>", flags=re.UNICODE).sub(u" ", s) 

Kodowanie bazy danych jest utf -8 i nawet przekazuję kodowanie do funkcji create_engine w SQLAlchemy.

Edit: To jak ja zapytań do bazy danych:

doc = session.query(Document).get(doc_id) 
s = doc.title 

sugestia, zdałem s.decode ('utf-8') do sub. Błąd powyżej zniknął, ale pojawia się inny błąd dla innego dokumentu:

UnicodeDecodeError: 'utf8' codec can't decode byte 0xeb in position 449: invalid continuation byte 

tabela bazy danych jest zdefiniowany następująco:

CREATE TABLE `articles` (
    `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
    `title` varchar(255) DEFAULT NULL, 
    `cdate` datetime DEFAULT NULL, 
    `link` varchar(255) DEFAULT NULL, 
    `content` text, 
    UNIQUE KEY `id` (`id`), 
    UNIQUE KEY `link_idx` (`link`) 
) ENGINE=InnoDB AUTO_INCREMENT=4127834 DEFAULT CHARSET=utf8; 

Każda pomoc będzie bardzo mile widziane

Answer 1

mam rozwiązał problem. Kolumna title była zwracana przez SQLAlchemy jako str, a nie Unicode. Myślałem, że dodanie encoding='utf8' jako argumentu do create_engine zajmie się tym, jednak właściwym sposobem na to jest przekazanie go w bazie danych URI: mysql://me@myserver/mydatabase?charset=utf8.

Dziękuję za wszystkie odpowiedzi!