mapreduce

6Ciepło

1Odpowiedz

Jak scalić dane w Couchbase z redukcją mapy?

Moja aplikacja zapisuje wiele typów dokumentów w tym samym segmencie. Wiem, że to nie jest dobra praktyka, ale mam limit ilości wiaderek, które mogę utworzyć na moim serwerze, i nie ma na to czasu. Do

javascript mapreduce couchbase 2017-07-07

---

8Ciepło

2Odpowiedz

Liczenie bigramsów naprawdę szybko (z lub bez wieloprocesowości) - python

Biorąc pod uwagę big.txt z norvig.com/big.txt, celem jest naprawdę szybkie policzenie bigramsów (Wyobraź sobie, że muszę to powtarzać 100 000 razy). Według Fast/Optimize N-gram implementations in pyth

python optimization mapreduce counter n-gram 2016-11-02

---

5Ciepło

1Odpowiedz

Czy krok shuffle w programie MapReduce działa równolegle z mapowaniem?

Próbowałem zrozumieć program MapReduce. Robiąc to zauważyłem, że zadania redukujące rozpoczynają się niemal natychmiast po wykonaniu wszystkich map. Teraz jest to zaskakujące, ponieważ zadania redukuj

java scala hadoop apache-spark mapreduce 2017-04-04

---

7Ciepło

1Odpowiedz

Jak zabezpieczyć pracę hadoop z wdziękiem/przechwycić `hadoop job -kill`

Moja aplikacja Java działa na odwzorowaniu i tworzy procesy potomne za pomocą Qubole API. Aplikacja przechowuje child qubole queryIDs. Muszę przechwycić sygnał zabicia i wyłączyć procesy potomne przed

java hadoop mapreduce qubole 2017-05-30

---

5Ciepło

1Odpowiedz

Aplikacja nie 2 razy ze względu na AM opakowaniu: wyszedł z exitCode: 1

Pobiegłem pracę mapreduce na Hadoop-2.7.0 ale Job mapreduce nie można uruchomić, a ja do czynienia z tym poniżej błędu: Job job_1491779488590_0002 failed with state FAILED due to: Application applicat

hadoop mapreduce 2017-04-15

---

5Ciepło

1Odpowiedz

Uzyskaj liczbę wejść i wyjść MapReduce w Javie

Chcę uzyskać liczbę wejść i wyjść fazy mapy oraz fazę zmniejszania i czas kompletnej mapy/zmniejszyć pracę z Javą. Statystyki te są zapisywane na terminalu, ale muszę się go za pomocą kodu Java i zapi

java hadoop mapreduce 2016-08-10

---

5Ciepło

1Odpowiedz

Jak zachować najwyższą liczbę elementów tablicy w mongoDB?

Szukam sposobu, aby uzyskać dwie najwyższe liczby (lub dowolną inną liczbę) z określonego elementu z danej kolekcji. {"id": "xyz" , "fruits": ["Apple", "Mango"]} {"id": "abx", "fruits": ["Apple", "Ba

mongodb mapreduce mongodb-query morphia 2016-08-11

---

5Ciepło

2Odpowiedz

sprowadzają się do wydarzeń odstępach czasowych

Scenariusz: mam usługę, która rejestruje zdarzenia, jak w tym przykładzie csv: #TimeStamp, Name, ColorOfPullover TimeStamp01, Peter, Green TimeStamp02, Bob, Blue TimeStamp03, Peter, Green TimeStam

events logging mapreduce reducing 2017-09-14

---

6Ciepło

1Odpowiedz

Rozłączne zestawy na iskierniku Apache

Próbuję znaleźć algorytm wyszukiwania rozłącznych zestawów (połączonych komponentów/związków-szukania) na dużej ilości danych za pomocą iskry Apache. Problem to ilość danych. Nawet Raw reprezentacja w

algorithm apache-spark mapreduce graph-theory disjoint-sets 2016-05-18

---

15Ciepło

2Odpowiedz

Trasowanie własnego reduByKey w Spark Dataset

Próbuję nauczyć się używać DataFrames i DataSet więcej oprócz RDD. W przypadku RDD wiem, że mogę wykonać someRDD.reduceByKey((x,y) => x + y), ale nie widzę tej funkcji dla zestawu danych. Więc postano

scala apache-spark mapreduce 2016-07-14

---