hadoop

15Ciepło

4Odpowiedz

Czytanie i pisanie plików sekwencji przy użyciu Hadoop 2.0 Apis

Szukam przykładu, który używa nowego interfejsu API do odczytywania i zapisywania plików sekwencji. Skutecznie Muszę wiedzieć, jak korzystać z tych funkcji createWriter(Configuration conf, org.apache.

8Ciepło

1Odpowiedz

Hadoop: wynik fsck pokazuje brakujące repliki

może ktoś dać mi znać, jak naprawić brakujące repliki? ============================================== ============================== Całkowity rozmiar: 3447348383 B Wszystkie katalogi: 120 Wszystkie p

12Ciepło

2Odpowiedz

Jakie są różnice między Sort Comparator i Komparatorem grupy w Hadoop?

Jakie są różnice między Sort Komparator i Komparator grupowy w Hadoop?

15Ciepło

1Odpowiedz

W jaki sposób Hive wybiera liczbę reduktorów do pracy?

Kilka miejsc mówi, że domyślne # reduktorów w zadaniu Hadoop to 1. Możesz użyć symbolu mapred.reduce.tasks, aby ręcznie ustawić liczbę reduktorów. Kiedy uruchamiam zadanie Hive (na Amazon EMR, AMI 2.3

5Ciepło

1Odpowiedz

Automatycznie ustawić maksymalną liczbę zadań mapowania na węzeł na liczbę rdzeni?

Pracuję nad skonfigurowaniem klastru hadoop, w którym wszystkie węzły są dość heterogeniczne, tj. Każda ma inną liczbę rdzeni. Obecnie muszę ręcznie edytować mapred-site.xml w każdym węźle wypełnić {c

6Ciepło

1Odpowiedz

Jak odświeżyć/wyczyścić pamięć rozproszoną przy użyciu hue + wosku pszczelego Aby uruchomić kwerendy w ulu, które definiują niestandardowe funkcje UDF?

Ustawiłem klaster Hadoop (używając Cloudera distro przez Cloudera Managera) i uruchamiam kilka zapytań Hive używając interfejsu Hue, który używa wosku pszczelego pod spodem. Wszystkie moje zapytania d

7Ciepło

4Odpowiedz

Hadoop Hive powolne zapytania

Jestem nowy w Hadoop Hive i pracuję nad rozwiązaniem raportowania. Problem polega na tym, że wydajność zapytania jest bardzo powolna (ul 0.10, hbase 0.94, hadoop 1.1.1). Jedno z pytań to: select a.*,

7Ciepło

7Odpowiedz

HDFS - LS: Nieudane na lokalnym wyjątek: com.google.protobuf.InvalidProtocolBufferException:

Próbuję użyć poniżej notować swoje katalogi w HDFS ... [email protected]:~$ hadoop fs -ls hdfs://127.0.0.1:50075/ ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: P

13Ciepło

3Odpowiedz

Jak utworzyć korpus z 100 milionami tweetów?

Chcę utworzyć korpus tekstowy zawierający 100 milionów tweetów za pomocą pakietu rozproszonego T dla komputerów PC (zwanego tm.plugin.dc). Tweety są przechowywane w dużej tabeli MySQL na moim laptopie

5Ciepło

1Odpowiedz

Czy Hadoop nie jest bardziej siatką niż klastrem?

Słyszałem termin "klaster Hadoop", ale wydaje się, że jest to sprzeczne z tym, co rozumiem jako "siatkę" i "klaster". My zrozumienia jest to, że siatki jest rozproszony system składający 2+ komputerów