pandy python read_csv separator danych w kolumnie

Question

mam ten typ pliku CSV:

12012;My Name is Mike. What is your's?;3;0 
1522;In my opinion: It's cool; or at least not bad;4;0 
21427;Hello. I like this feature!;5;1 

chcę uzyskać te dane do da pandas.DataFrame. Ale read_csv(sep=";") zgłasza wyjątki ze względu na średnik w kolumnie generowanej przez użytkownika w wierszu 2 (Moim zdaniem: Jest fajny lub przynajmniej niezły). Wszystkie pozostałe kolumny mają stale numeryczne dtypes.

Jaka jest najwygodniejsza metoda zarządzania tym?

Answer 1

Radzenie sobie z niecytowanymi ogranicznikami jest zawsze uciążliwe. W tym przypadku, ponieważ wygląda na to, że złamany tekst jest otoczony trzema poprawnie zakodowanymi kolumnami, możemy odzyskać. TBH, to bym po prostu użyć standardowego czytnika Python i zbudować DataFrame raz z tego:

import csv 
import pandas as pd 

with open("semi.dat", "r", newline="") as fp: 
    reader = csv.reader(fp, delimiter=";") 
    rows = [x[:1] + [';'.join(x[1:-2])] + x[-2:] for x in reader] 
    df = pd.DataFrame(rows) 

która produkuje

 0            1 2 3 
0 12012    My Name is Mike. What is your's? 3 0 
1 1522 In my opinion: It's cool; or at least not bad 4 0 
2 21427     Hello. I like this feature! 5 1 

Wtedy możemy od razu zapisać go i dostać coś cytowany poprawnie:

In [67]: df.to_csv("fixedsemi.dat", sep=";", header=None, index=False) 

In [68]: more fixedsemi.dat 
12012;My Name is Mike. What is your's?;3;0 
1522;"In my opinion: It's cool; or at least not bad";4;0 
21427;Hello. I like this feature!;5;1 

In [69]: df2 = pd.read_csv("fixedsemi.dat", sep=";", header=None) 

In [70]: df2 
Out[70]: 
     0            1 2 3 
0 12012    My Name is Mike. What is your's? 3 0 
1 1522 In my opinion: It's cool; or at least not bad 4 0 
2 21427     Hello. I like this feature! 5 1