bigdata

11Ciepło

1Odpowiedz

Czy rozmiar zbioru danych wpływa na algorytm uczenia maszynowego?

Wyobraź sobie, że masz dostęp do wystarczającej ilości danych (miliony punktów danych dotyczących szkoleń i testów). Zignoruj teraz dryf koncepcji i przyjmuj dane statyczne i nie zmieniaj się z czas

16Ciepło

1Odpowiedz

Eksportuj dużą ilość danych z Cassandry do CSV

Używam Cassandra 2.0.9 do przechowywania dość dużych ilości danych, powiedzmy 100 Gb, w jednej rodzinie kolumn. Chciałbym eksportować te dane do CSV w szybki sposób. Próbowałem: sstable2json - produku

5Ciepło

1Odpowiedz

Czym różni się serwer Ambari Apache od agenta

Jaka jest różnica między serwerem Apache Ambari a agentem? Jaka jest rola \ zadania serwera kontra agent?

5Ciepło

1Odpowiedz

Spark 1.0.2 (także 1.1.0) wisi na partycji

Mam dziwny problem w iskierniku Apache i byłbym wdzięczny za pomoc. Po odczytaniu danych z hdfs (i wykonaniu jakiejś konwersji z json do obiektu) następny etap (przetwarzanie wymienionych obiektów) ko

5Ciepło

1Odpowiedz

ula zewnętrzny podzielono stół

pierwszy stworzony ula tabeli zewnętrznej partycje za pomocą kodu i daty CREATE EXTERNAL TABLE IF NOT EXISTS XYZ ( ID STRING, SAL BIGINT, NAME STRING, ) PARTITIONED BY (CODE INT,DATE STRING) RO

11Ciepło

2Odpowiedz

Jak działa funkcja Pyspark mapPartitions?

Próbuję nauczyć się Sparka używając Pythona (Pyspark). Chcę wiedzieć, jak działa ta funkcja. To, co Input bierze i jaki wynik daje. Nie mogłem znaleźć odpowiedniego przykładu z internetu. Powiedzmy, m

270Ciepło

1Odpowiedz

Apache Spark vs. Apache Storm

Jakie są różnice między Apache Spark i Apache Storm? Jakie są odpowiednie przypadki użycia dla każdego z nich?

17Ciepło

2Odpowiedz

Która funkcja iskry jest używana do łączenia dwóch RDD za pomocą klawiszy

Powiedzmy, że mam następujące dwa RDD z następującymi wartościami para kluczy. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] i rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]

7Ciepło

1Odpowiedz

Oblicz macierzy odległości Euclidean za pomocą obiektu big.matrix

Mam obiekt klasy big.matrix w R o wymiarze 778844 x 2. Wszystkie wartości to liczby całkowite (kilometry). Moim celem jest obliczenie macierzy odległości Euclidean za pomocą big.matrix i w rezultacie

8Ciepło

2Odpowiedz

Wpisanie danych offsetu do zookeepera w kafkowskiej burzy

Utworzenie klastra burzowego do obliczania trendów w czasie rzeczywistym i innych statystyk, jednak mam pewne problemy z wprowadzeniem funkcji "odzyskiwania" do tego projektu, umożliwiając przesunięci