hadoop

6Ciepło

2Odpowiedz

Zadanie mapreduce z wprowadzeniem zwykłego tekstu i wyjściem avro

Jestem bardzo zdezorientowany z używania Avro z redukcją mapy i nie mogę znaleźć dobrych tutoriali do naśladowania. Wygląda na to, że klasy takie jak AvroJob i AvroMapper są nastawione na problemy, gd

7Ciepło

2Odpowiedz

Pobierz kolumny w określonej rodzinie kolumn dla wiersza HBase

Piszę aplikację, która pokazuje dane w określonej tabeli w HBase przez JSP. Chcę uzyskać wszystkie kolumny w określonej rodzinie kolumn dla wiersza. Czy jest jakiś sposób na zrobienie tego?

7Ciepło

1Odpowiedz

Scala/Hadoop: Określanie kontekstu dla Reducera

Zanim wskoczyłem do gry z Scoobi lub Scrunchem, pomyślałem, że spróbuję przenieść WordCount do scala (2.9.1) używając tylko java powiązań Hadoop (0.20.1). Początkowo miałem: class Map extends Mapper[L

15Ciepło

2Odpowiedz

Różnica w wywołaniu zadania

Jaka jest różnica między wywołaniem zadania mapreduce od main() a od ToolRunner.run()? Kiedy mówimy, że główna klasa mówi: MapReduce extends Configured implements Tool, jakie są dodatkowe przywileje,

7Ciepło

3Odpowiedz

Broken pipe Błąd powoduje strumieniowego Elastic MapReduce pracę na AWS niepowodzenie

Wszystko działa prawidłowo lokalnie kiedy zrobić w następujący sposób: cat input | python mapper.py | sort | python reducer.py Jednak gdy uruchamiam zadanie strumieniowe MapReduce na AWS Elastic Map

5Ciepło

1Odpowiedz

Hadoop: Łatwy sposób na obiekt jako wartość wyjściową bez interfejsu Zapisywalny

Próbuję wykorzystać MOOP do trenowania wielu modeli. Moje dane są wystarczająco małe, aby zmieścić się w pamięci, więc chcę mieć jeden model przeszkolony w każdym zadaniu mapy. Mój problem polega na t

14Ciepło

5Odpowiedz

Jak debugować hadoop mapreduce zadania od Eclipse?

Używam wasoop w konfiguracji pojedynczej maszyny, tylko lokalna, i szukam ładnego, bezbolesnego sposobu debugowania mappers i reduktorów w czasie zaćmienia. Eclipse nie ma problemu z uruchomieniem zad

13Ciepło

4Odpowiedz

Jak korzystać z kodu MATLAB w programie odwzorowującym (Hadoop)?

Mam kod Matlab, który przetwarza obrazy. Chcę utworzyć program odwzorowujący Hadoop, który używa tego kodu. Natknąłem się na następujących rozwiązań, ale nie jestem pewien, który z nich jest najlepszy

7Ciepło

3Odpowiedz

Czy można odczytać dane MongoDB, przetworzyć je za pomocą Hadoop i wyprowadzić do RDBS (MySQL)?

Podsumowanie: Czy jest możliwe: dane zaimportować do Hadoop z «MongoDB Connector for Hadoop». Przetwarzaj za pomocą Hadoop MapReduce. Wyeksportuj go za pomocą Sqoop w ramach jednej transakcji. Jestem

5Ciepło

2Odpowiedz

jaka jest najlepsza praktyka przy łączeniu Hive Połączenia JDBC

Używam sterownika Hive JDBC, aby wykonać kwerendę sql jak mój sklep danych HDFS. Próbowałem użyć c3p0 do obsługi puli połączeń. Nie jestem pewien, czy jest to właściwe podejście, ponieważ zapytanie Hi