hadoop-streaming

5Ciepło

1Odpowiedz

Efektywne wykorzystanie pythona do obliczenia odległości Hamminga

Potrzebuję porównać wiele ciągów podobnych do 50358c591cef4d76. Mam funkcję odległości Hamminga (używając pHash), z której mogę korzystać. Jak mogę to zrobić wydajnie? Mój Pseudokod byłoby: For each s

python performance hadoop-streaming 2014-07-04

---

5Ciepło

1Odpowiedz

Błąd konfiguracji Hadoop

Próbuję uruchomić moją aplikację Miaoop, jednak po uruchomieniu widzę to w plikach dziennika, czy ktoś ma pojęcia, co to jest problem? Tworzenie system plików HDFS: //10.170.4.141 9000 java.io.IOExcep

java hadoop hadoop-streaming 2013-03-01

---

5Ciepło

2Odpowiedz

Struktury strumieniowe na górze Hadoop, które obsługują ORC, formaty plików parkietowych

Czy strumieniowanie Hadoop obsługuje nowe, kolumnowe formaty przechowywania, takie jak ORC i parkiet, czy też istnieją frameworki na platformie Hadoop, które umożliwiają czytanie takich formatów?

hadoop mapreduce hive hadoop-streaming 2014-04-03

---

5Ciepło

3Odpowiedz

Uruchamianie kodu Pythona na Hadoop Failed

starałem się postępować zgodnie z instrukcjami na tej stronie: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ $bin/hadoop jar contrib/streaming/hadoop-streaming-1

python hadoop-streaming 2013-03-12

---

6Ciepło

3Odpowiedz

Przetwarzanie obrazów za pomocą hadoopu

Jestem nowy w hadoop i mam zamiar opracować aplikację, która przetwarza wiele obrazów za pomocą hadoop i pokazuje użytkownikom wyniki na żywo, podczas gdy obliczenia są w toku. Podstawowym podejściem

image-processing hadoop mapreduce hdfs hadoop-streaming 2014-04-14

---

6Ciepło

2Odpowiedz

Jak uzyskać nazwę pliku wejściowego w MRjob

Piszę funkcję mapy przy użyciu mrjob. Moje dane wejściowe będą pochodzić z plików w katalogu na HDFS. Nazwy plików zawierają małą, ale istotną informację o kawałku, której nie ma w plikach. Czy istnie

python hadoop hadoop-streaming mrjob 2012-07-11

---

5Ciepło

2Odpowiedz

Załaduj pliki skompresowane w elastyczny sposób do elastycznej mapyReduce

Mam kilka logów serwerowych skompresowanych w S3, i muszę przetworzyć je za pomocą przesyłania strumieniowego na elastycznej MapReduce. Jak mam powiedzieć Amazonowi i Hadoopowi, że dzienniki są już sk

hadoop amazon-web-services compression hadoop-streaming emr 2013-03-21

---

5Ciepło

1Odpowiedz

Hadoop 2.4.0 Opcje ogólne strumieniowych parsera przy użyciu karty jako separatora

wiem, że karta jest domyślny separator wejściowy dla pól: stream.map.output.field.separator stream.reduce.input.field.separator stream.reduce.output.field.separator mapreduce.textoutputformat.separ

python hadoop utf-8 mapreduce hadoop-streaming 2015-05-27

---

12Ciepło

1Odpowiedz

Przesyłanie strumieniowe Hadoop z C# i Mono: IdentityMapper jest używany niepoprawnie

Mam programy wykonawcze mapper i reduktor napisane w języku C#. Chcę używać ich do streamingu Hadoop. To polecenie używam do tworzenia zadanie Hadoop ... hadoop jar $HADOOP_HOME/contrib/streaming/hado

c# mono hadoop-streaming 2012-11-02

---

7Ciepło

3Odpowiedz

Jak przekazać parametr do zadania przesyłania strumieniowego Hadoop Pythona?

Dla zadania przesyłania strumieniowego Hoonop Hoonop, w jaki sposób przekazać parametr do, na przykład, skryptu reduktora, aby zachowywał się on inaczej w zależności od przekazywanego parametru? Rozum

python hadoop hadoop-streaming 2012-03-01

---