hdfs

6Ciepło

2Odpowiedz

Czy możemy przechowywać dane relacyjne w hdfs

Próbuję przekonwertować aplikację, która ma relacyjną bazę danych jako zaplecze. Czy mogę przechowywać dane relacyjne w HDFS?

8Ciepło

3Odpowiedz

Running Map-Reduce pracę na konkretnych plików/bloków w HDFS

Po pierwsze, jestem nowy na Hadoop :) Mam duży zestaw danych pliki spakowane gzipem (TBS dokumentów w pliki spakowane gzipem wokół wielkości 100-500mb każdy). Zasadniczo potrzebuję jakiegoś filtrowani

22Ciepło

3Odpowiedz

Spark trybie autonomicznym: Jak kompresować wyjście zapłonową pisemnej do HDFS

związane z moją inne pytanie, ale wyraźny: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Gdybym zapisać RDD do HDFS, jak mogę powiedzieć iskrę do kompresji wyjście z gzip ? W Hadoop, możliwe jest u

5Ciepło

2Odpowiedz

Jak znaleźć optymalną liczbę maperów podczas importowania i eksportowania Sqoop?

Używam Sqoop wersji 1.4.2 i bazy danych Oracle. Po uruchomieniu polecenia Sqoop. Na przykład takich jak to: ./sqoop import \ --fs <name node> \ --jt <job tracker> \ --

9Ciepło

3Odpowiedz

Jak mogę odczytać skompresowane pliki Snappy na HDFS bez korzystania z Hadoop?

Przechowuję pliki w HDFS w formacie kompresji Snappy. Chciałbym móc przeanalizować te pliki w lokalnym systemie plików systemu Linux, aby upewnić się, że proces Hadoop, który je utworzył, działał popr

5Ciepło

1Odpowiedz

Hadoop: nie można ustawić domyślnego FileSystem jako HDFS w core-site.xml

Używam Hadoop 1.0.3 w trybie Pseudo-Distributed. A mój conf/core-site.xml jest ustawiony w następujący sposób: <configuration> <property> <name>fs.default.name</name> <value>hdfs://lo

12Ciepło

2Odpowiedz

Wysoka wydajność vs niskiej latencji w HDFS

starałem się określić, co wysoka przepustowość vs niskiej latencji oznacza w HDFS w moich własnych słów, i wpadł na następującą definicję: HDFS jest zoptymalizowany do partii dostępowych zestaw danych

14Ciepło

2Odpowiedz

Pig: Get najwyższej wartości n na grupę

mam dane, które już pogrupowane i sumarycznych, wygląda tak: user value count ---- -------- ------ Alice third 5 Alice first 11 Alice second 10 Alice fourth 2 ... Bob second 20 Bob thi

8Ciepło

4Odpowiedz

Zredukowany współczynnik replikacji HDFS

Zmniejszyłem współczynnik replikacji z 3 na 1, ale nie widzę żadnej aktywności z nazwy identyfikacyjnej lub między datanodami, aby usunąć nadmiernie zreplikowane bloki plików HDFS. Czy istnieje sposób

101Ciepło

4Odpowiedz

Różnica między HBase i Hadoop/HDFS

To jest naiwne pytanie, ale jestem nowy w paradygmacie NoSQL i nie wiem zbyt wiele na ten temat. Więc jeśli ktoś może mi pomóc w zrozumieniu różnicy między HBase i Hadoop lub jeśli podam jakieś wskazó