hdfs

6Ciepło

3Odpowiedz

Jestem nowy w hadoop i mam zamiar opracować aplikację, która przetwarza wiele obrazów za pomocą hadoop i pokazuje użytkownikom wyniki na żywo, podczas gdy obliczenia są w toku. Podstawowym podejściem

5Ciepło

1Odpowiedz

jak wyczyścić dzienniki hadoop-hdfs w katalogu/var/log/hadoop-hdfs

Mój węzeł nazwy w klastrze hadoop został zmieniony na zły stan, ponieważ "Katalog dziennika ról nie jest systemem plików z mniej niż 4 GB wolnego miejsca ./var/log/hadoop-hdfs (bezpłatny: 2,4 GB (11,1

5Ciepło

5Odpowiedz

Gdzie znajduje się Sklep z nazwami fsImage and edit Log?

Jestem programistą java, ucząc się Hadoop. Przeczytałem, że węzeł Nazwa w HDFS przechowuje informacje w dwóch plikach, mianowicie fsImage & editLog. W przypadku uruchomienia odczytuje te dane z dysku

38Ciepło

3Odpowiedz

Jak naprawić uszkodzone pliki HDFS

W jaki sposób ktoś naprawia uszkodzony plik HDFS? Spojrzałem na stronę Apache/Hadoop i napisałem jej fsck command, która go nie naprawia. Mam nadzieję, że ktoś, kto napotkał ten problem wcześniej, moż

9Ciepło

2Odpowiedz

połączenie hadoop odmówiono na porcie 9000

Chcę skonfigurować klaster hadoop w trybie pseudo-rozproszenia do rozwoju. Próby uruchomienia klastra Hadoop zawiedzie z powodu odmowy połączenia na porcie 9000. Są to moi configs (dość standardowy):

5Ciepło

1Odpowiedz

Jak wysłać zapytanie do sklepu HDF za pomocą Pandy/Python

Aby zarządzać ilością pamięci RAM, którą zużyję podczas analizy, mam duży zbiór danych przechowywany w formacie hdf5 (.h5) i muszę wydajnie wypytywać ten zestaw danych, używając Pand. Zestaw danych za

20Ciepło

4Odpowiedz

Co dokładnie oznacza Non DFS Used?

To, co widziałem na interfejsie internetowym niedawno Configured Capacity : 232.5 GB DFS Used : 112.44 GB Non DFS Used : 119.46 GB DFS Remaining : 613.88 MB DFS Used% : 48.36 % DFS Remaining% :

22Ciepło

3Odpowiedz

komenda hadoop fs -put

Skonstruowałem środowisko Hadoop z jednym węzłem na CentOS przy użyciu repozytorium Cloudera CDH. Gdy chcę skopiować plik lokalny do HDFS użyłem komendy: sudo -u hdfs hadoop fs -put /root/MyHadoop/fil

11Ciepło

3Odpowiedz

Jak uzyskać hadoop umieścić do tworzenia katalogów, jeśli nie istnieją

Używam hadoop Cloudera (0.20.2). W tej wersji, jeśli mogę umieścić plik w systemie plików, ale struktura katalogów nie istnieje, to automatycznie tworzone katalogi nadrzędny: Tak na przykład, jeśli ni

6Ciepło

2Odpowiedz

Flume nie zapisuje do HDFS, chyba że zostanie zabity

Podążyłem za link w celu ustawienia zlewu TwitterSource i HDFS. poleceń używany do uruchamiania agenta: bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf.properties -Dflume.root.logger=DEB