hadoop

20Ciepło

2Odpowiedz

YARN nie wywiązuje się z zasobów w oparciu o udziały w wartości godziwej podczas uruchamiania zadania Spark

Mam problem z ponownym równoważeniem zasobów zadań Apache Spark w kolejkach YARN Fair Scheduled. Dla testów skonfigurowałem Hadoop 2.6 (wypróbowałem również 2.7), aby uruchomić tryb pseudo-rozproszony

5Ciepło

3Odpowiedz

Czy możemy uzyskać wszystkie nazwy kolumn z tabeli HBase?

Ustawienia: Mam tabelę HBase, z 100M + wiersze i 1 Milion + kolumn. Każdy wiersz ma dane tylko od 2 do 5 kolumn. Jest tylko jedna rodzina kolumn. Problem: chcę znaleźć wszystkie odrębne qualifiers (ko

5Ciepło

2Odpowiedz

Napisz tabelę pand do impala

Używając modułu impyla, pobrałem wyniki zapytania impala do pandasowej ramki danych, wykonałem analizę i chciałbym teraz zapisać wyniki z powrotem do tabeli na impala, lub przynajmniej plik hdfs. Jedn

6Ciepło

1Odpowiedz

nutch ścieżka 1,10 wejściowy nie istnieje/linkdb/prąd

Kiedy biegnę nutch 1.10 z następującego polecenia, zakładając, że TestCrawl2 nie wcześniej istnieć i musi być stworzony, ... sudo -E bin/crawl -i -D solr.server.url=http://localhost:8983/solr/TestCraw

8Ciepło

2Odpowiedz

Tworzenie pliku iskry/pliku/etc dla wiązania w trybie klastra YARN.

Konfiguracja klastra iskrownika na komputerze z dwoma inetacjami, jedna publiczna inna prywatna. Plik/etc/hosts w klastrze ma wewnętrzne IP wszystkich innych komputerów w klastrze, tak jak to. interna

5Ciepło

1Odpowiedz

Jak uzyskać datę różnicę w ciągu kilku minut za pomocą gałąź

Poniżej kwerendy jest mój kwerendy serwera sql i chcę, aby przekształcić go w zapytaniu ula: select DATEDIFF([minute], '19000101', '2013-01-01 10:10:10')

7Ciepło

1Odpowiedz

Jak umożliwić iskrowi ignorowanie brakujących plików wejściowych?

Chcę uruchomić zadanie iskrzenia (iskra v1.5.1) na niektórych wygenerowanych ścieżkach S3 zawierających pliki avro. Ładuję je: val avros = paths.map(p => sqlContext.read.avro(p)) Niektóre ścieżki ni

7Ciepło

4Odpowiedz

Hive Błąd wewnętrzny: java.lang.ClassNotFoundException (org.apache.atlas.hive.hook.HiveHook)

Używam kwerendy wyszukiwania oh z uśmiechem hue .. Tworzę tabelę poprzez przepływ pracy hue-oozie ... Moja praca się nie udaje, ale kiedy sprawdzam w ulu, tabela jest tworzona. Log pokazuje poniżej bł

6Ciepło

2Odpowiedz

Jak poruszać katalogów w Hadoop HDFS

Chciałbym poruszać się HDFS pierwszy spojrzał na katalogach „root” HDFS [[email protected] ~]$ sudo -u hdfs hadoop fs -ls hdfs:/ Found 5 items drwxr-xr-x - hbase hbase 0 2015-10-10 07:03 hdfs:///

6Ciepło

1Odpowiedz

Znajdź nazwę użytkownika, który zabił pracę Hadoop.

Czy istnieje sposób na znalezienie nazwiska użytkownika, który zabił pracę Hadoop? Nie mam dostępu do roota w węzłach klastra Hadoop 2.6.0, więc mogę używać tylko narzędzi wiersza poleceń Hadoop i spr