csv

5Ciepło

2Odpowiedz

Ładowanie bardzo dużego zestawu danych CSV do Pythona i R, walki Pandy

Załaduję ogromny csv (18 GB) do pamięci i zauważam bardzo duże różnice między R i Pythonem. To jest na AWS ec2 r4.8xlarge which has 244 Gb of memory. Oczywiście jest to skrajny przykład, ale zasada ob

14Ciepło

1Odpowiedz

Jaki jest najskuteczniejszy sposób wydajnego analizowania pliku CSV za pomocą awk?

Celem tego pytania jest udzielenie odpowiedzi kanonicznej. Biorąc CSV, jak mogłoby być generowane przez Excel lub innych narzędzi z osadzonymi znakami nowej linii, osadzone cudzysłowy i pustych pól, t

9Ciepło

1Odpowiedz

Pandy - KeyError: "[] nie w indeksie" podczas szkolenia modelu Keras

Próbuję wyszkolić model Keras na podstawie częściowych funkcji z mojego zestawu danych. Mam załadowany zestaw danych i ekstrakcji cech tak: train_data = pd.read_csv('../input/data.csv') X = train_da

5Ciepło

2Odpowiedz

Jak pominąć nagłówki, gdy odczytujemy dane z pliku csv w s3 i tworzymy tabelę w aws athena.

Próbuję odczytać dane CSV z zasobnika s3 i utworzyć tabelę w AWS Atena. Stworzona przeze mnie tabela nie mogła pominąć informacji o nagłówku mojego pliku CSV. Zapytanie Przykład: CREATE EXTERNAL TABLE

5Ciepło

1Odpowiedz

Przetwarzanie CSV za pomocą ats atsna

Przetwarzam plik csv za pomocą ateny AWS z kodu Java. Niektóre kolumny w CSV są typu daty, a jedna kolumna ma przecinek w wartości. Jeśli Athena tabela jest tworzona z ROW FORMAT SERDE 'org.apache.had

6Ciepło

2Odpowiedz

Jak nanieść dane równomiernie wzdłuż osi X?

Plamkuję dane z pliku csv z wartościami na osi Y i datą na osi X. Mój zestaw danych zawiera tylko dane z czerwca, lipca i sierpnia w ciągu 15 lat. Jednak, gdy próbuję wykreślić te dane, wszystkie dane

5Ciepło

2Odpowiedz

Czy istnieje sposób, aby przejść do określonego numeru linii podczas czytania pliku w Pythonie?

Używam biblioteki csv do parsowania pliku. Muszę pominąć 6 rzędów i przejść od razu do 7. rzędu i przeanalizować resztę. Jestem w stanie uruchomić reader.next() 6 razy, ale wygląda dziwnie: reader = c

5Ciepło

1Odpowiedz

Sparklyr ignorując linia separatora

Próbuję czytać .csv 2GB ~ (5mi wierszy) w sparklyr z: bigcsvspark <- spark_read_csv(sc, "bigtxt", "path", delimiter = "!", infer_schema = FALSE, memory = TRUE,

5Ciepło

1Odpowiedz

Scalanie ramek danych iteracyjnie z pandami

Próbuję połączyć dwie ramki danych w pandy, używając read_csv. Ale jedna z moich ramek danych (w tym przykładzie d1) jest zbyt duża, aby mój komputer mógł nią obsłużyć, więc używam argumentu iterator

5Ciepło

1Odpowiedz

Jak porównać dwa pliki CSV?

Mam csv plik1 który jest jak FLAGSTAFF AZ 50244.67 5.02 KA1_Podium_Garage_S FLAGSTAFF AZ 33752.13 3.38 KA1_Podium_Garage_S FLAGSTAFF AZ 11965.5 1.2 KA1_Podium_Garage_S FLAGSTAFF AZ 3966.48 0.4 KA