hadoop

6Ciepło

1Odpowiedz

Jak mogę odczytać i przesłać fragmenty pliku za pomocą Hadoop WebHDFS?

Potrzebuję przenieść duże pliki (co najmniej 14 MB) z instancji Cosmos laboratorium FIWARE do mojego zaplecza. kiedyś sprężyna RestTemplate jako interfejs klienta dla hadoop WebHDFS odpoczynek czynnyc

7Ciepło

1Odpowiedz

Maksymalna liczba instancji modułu roboczego Apache

Jaka jest maksymalna liczba instancji przeszukiwacza Apache Nutch, które mogą być uruchomione w tym samym czasie z jednym węzłem głównym?

5Ciepło

2Odpowiedz

Pobierz ostatni zaktualizowany plik w HDFS

Chcę najnowszy zaktualizowany plik z jednego z moich katalogów HDFS. Kod powinien w zasadzie przechodzić przez katalogi i podkatalogi i pobrać najnowszą ścieżkę pliku z nazwą pliku. Udało mi się pobra

8Ciepło

5Odpowiedz

Spark 1.6 - nie udało się zlokalizować pliku binarnego winutils w ścieżce binarnej hadoop

Wiem, że istnieje bardzo podobny post do tego (Failed to locate the winutils binary in the hadoop binary path), jednak próbowałem każdego kroku, który został zasugerowany i ten sam błąd nadal występuj

6Ciepło

2Odpowiedz

Domyślna liczba reduktorów

W Hadoop, jeśli nie ustawiliśmy liczby reduktorów, to ile będzie liczba reduktorów? Tak jak liczba elementów mapujących jest zależna od (całkowity rozmiar danych)/(wielkość podziału wejścia), E.g. jeś

5Ciepło

2Odpowiedz

Oozie dodawanie starej wersji słoika httpcore do ścieżki klasy

Ciągle otrzymuję wyjątek, ponieważ aplikacja Oozie dodaje nieprawidłową wersję słoika httpcore do ścieżki klasy. I tryed różne opcje, takie jak oozie.launcher.mapreduce.task.classpath.user.precedence

5Ciepło

1Odpowiedz

Jak uzyskać wskaźniki pracy iskrzenia?

Mamy klaster, który ma około 20 węzłów. Ten klaster jest udostępniany wielu użytkownikom i zadaniom. Dlatego bardzo trudno jest mi obserwować swoją pracę, aby uzyskać pewne dane, takie jak użycie proc

7Ciepło

2Odpowiedz

Ile rodzajów InputFormat jest w Hadoop?

Jestem nowy w Hadoop i zastanawiam się, ile jest typów InputFormat w Hadoop, takich jak TextInputFormat? Czy istnieje jakiś plik InputFormat, za pomocą którego mogę odczytywać pliki za pośrednictwem ż

7Ciepło

1Odpowiedz

Pobieranie plików ze zdalnego HDFS

Moje lokalne urządzenie nie ma instalacji hdfs. Chcę pobrać pliki ze zdalnego klastra hdfs. Jaki jest najlepszy sposób, aby to osiągnąć? Czy muszę get pliki z hdfs do jednego z maszyn klastra fs, a na

10Ciepło

1Odpowiedz

Czy ETL informatica Big Data edition (nie wersja chmurkowa) łączy się z Cloudera Impala?

Próbujemy wykonać proof of concept w edycji Big Data Informatica (nie w chmurze) i widziałem, że możemy wykorzystać HDFS, Hive jako źródło i cel. Ale moje pytanie brzmi: czy Informatica łączy się z Cl