mapreduce

5Ciepło

5Odpowiedz

Ustawianie zewnętrznych słoików na ścieżkę klasy miaoopu

Próbuję ustawić zewnętrzne słoiki na ścieżkę klasy miaoop, ale niestety nie ma to szczęścia. Mam następujące ustawienia $ hadoop version Hadoop 2.0.6-alpha Subversion https://git-wip-us.apache.org/rep

5Ciepło

4Odpowiedz

Czy Hive może rekurencyjnie zejść do podkatalogów bez partycji lub edytować plik hive-site.xml?

Mam kilka dzienników serwera WWW, które chciałbym wysłać do Hive. Struktura katalogów, w HDFS, wygląda następująco: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [... etc .

124Ciepło

9Odpowiedz

Java8: HashMap <X, Y> do HashMap <X, Z> użyciu Stream/Map-Reduce/Collector

wiem jak "przekształcić" prosty Java List z Y ->Z, tj: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Teraz chciałbym zrobić

10Ciepło

5Odpowiedz

TypeError: indeksy listy muszą być liczbami całkowitymi, a nie str Python

list[s] to ciąg znaków. Dlaczego to nie działa? pojawia się następujący błąd: TypeError: list indices must be integers, not str list = ['abc', 'def'] map_list = [] for s in list: t = (list[s],

7Ciepło

1Odpowiedz

Spark nie może już wykonywać zadań. Executory nie tworzą katalogu

Od miesiąca mamy mały klaster iskier, który pomyślnie wykonał zadania lub pozwolił mi uruchomić powłokę iskrową w klastrze. Nie ma znaczenia, że przesyłam zadanie do klastra lub łączę się z nim za p

7Ciepło

4Odpowiedz

Jak uzyskać datę ostatniej modyfikacji z pliku sekwencji Hadoop?

Używam mapowania, który konwertuje BinaryFiles (JPEG) do Hadoop sekwencji plików (HSF): public void map(Object key, Text value, Context context) throws IOException, InterruptedException { Strin

6Ciepło

1Odpowiedz

Agregacja MongoDB: łącz dwie macierze

Mam następujący typ dokumentów przechowywanych w kolekcji. { "_id" : "318036:2014010100", "data": [ {"flow": [6, 10, 12], "occupancy": [0.0356, 0.06, 0.0856], time: 0}, {"flow": [2

6Ciepło

2Odpowiedz

Jak znaleźć najdłuższą i najkrótszą długość wartości pola w mongoDb?

Typ danych pola to String. Chciałbym znaleźć długość najdłuższej i najkrótszej wartości dla pola w mongoDB. Mam w mojej kolekcji kompletnie 500000 dokumentów.

5Ciepło

1Odpowiedz

Zależność od MRunit najpóźniej w repozytorium cloudera

Nie mogę znaleźć najnowszego mrunit(1.1.0) w repozytorium Cloudera. Dostępny jest 0.8.0-incubating. Oto mój pom: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM

6Ciepło

3Odpowiedz

Wykluczenie zależności transformacji Gradle nie działa zgodnie z oczekiwaniami. (Jak mogę pozbyć com.google.guava: guawy-jdk5: 13,0)

tutaj jest urywek mojego build.gradle: compile 'com.google.api-client:google-api-client:1.19.0' compile 'com.google.apis:google-api-services-oauth2:v2-rev77-1.19.0' compile 'com.google.apis:google-a