dask

5Ciepło

2Odpowiedz

Jak określić metadane dla dask.dataframe

Dokumenty zawierają dobre przykłady, how metadata can be provided. Jednak nadal nie jestem pewien, jeśli chodzi o wybór odpowiednich dtypów dla mojej ramki danych. Czy mogę zrobić coś takiego jak meta

7Ciepło

2Odpowiedz

Utwórz kolumnę warunku if-else w beczce z bazą danych

Potrzebuję utworzyć kolumnę, która jest oparta na pewnych warunkach na beczce danych. W pand jest dość prosta: ddf['TEST_VAR'] = ['THIS' if x == 200607 else 'NOT THIS' if x == 200608 else

5Ciepło

1Odpowiedz

Konwersja pandy dataframe do dask dataframe

Załóżmy, że mam pandy dataframe jak: df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]}) Kiedy przekształcić go w dask dataframe co powinno name i divisions parametr składa się z: from dask import dataframe

6Ciepło

1Odpowiedz

Dask DataFrame Groupby Partycje

Mam dość duże pliki csv (~ 10 gb) i chciałbym skorzystać z dask do analizy. Jednak w zależności od liczby partycji, które ustawię dla obiektu daszka, w którym będę czytać, wyniki moich grup zostaną zm

6Ciepło

1Odpowiedz

W jaki sposób można zrównoleglić apply() na Pandas Dataframes wykorzystujących wszystkie rdzenie na jednym komputerze?

Od sierpnia 2017 r. Panda DataFame.apply() jest nadal ograniczona do pracy z jednym rdzeniem, co oznacza, że wielordzeniowa maszyna będzie marnować większość czasu obliczeniowego po uruchomieniu df.

11Ciepło

3Odpowiedz

Przyspieszenie odczyt bardzo dużych plików netcdf w Pythonie

Mam bardzo duży plik netcdf że czytam za pomocą netCDF4 w Pythonie nie mogę odczytać tego pliku na raz, ponieważ jego wymiarach (1200 x 720 x 1440) są zbyt duże, aby cały plik znajdował się w pamięci

6Ciepło

1Odpowiedz

Jak używać sieci InfiniBand z Dask?

Mam klaster z siecią o wysokiej wydajności (InfiniBand). Jednak kiedy ustawiam harmonogram zadań Dask i pracowników, wydajność nie wydaje się być tak szybka, jak oczekiwałbym. Jak mogę powiedzieć Dask