parquet

10Ciepło

2Odpowiedz

Aktualizowanie wartości w pliku parkietu apache

Mam dość mocny plik parkietu, w którym muszę zmienić wartości dla jednej z kolumn. Jednym ze sposobów na zrobienie tego byłoby zaktualizowanie tych wartości w źródłowych plikach tekstowych i odtworzen

apache-spark parquet 2015-03-03

---

9Ciepło

1Odpowiedz

Spark SQL nie może zakończyć pisania danych Parkietu z dużą liczbą odłamków

Próbuję użyć Apache Spark SQL do danych logów jls etl w S3 do plików Parquet również na S3. Moje kodu jest zasadniczo: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data = sqlCon

hadoop amazon-s3 apache-spark parquet apache-spark-sql 2014-10-10

---

8Ciepło

2Odpowiedz

błąd EntityTooLarge podczas przesyłania pliku 5G do Amazon S3

Amazon S3 limit rozmiaru pliku ma być 5T według tego announcement, ale otrzymuję następujący błąd podczas przesyłania pliku 5G '/mahler%2Fparquet%2Fpageview%2Fall-2014-2000%2F_temporary%2F_attempt_201

amazon-s3 apache-spark jets3t parquet apache-spark-sql 2014-10-11

---

7Ciepło

1Odpowiedz

Zapisywanie >> 25T SchemaRDD w formacie Parkiet na S3

Napotkałem wiele problemów podczas próby zapisania bardzo dużego SchemaRDD, jak w formacie Parquet na S3. Zadałem już szczegółowe pytania dotyczące tych problemów, ale tak naprawdę muszę to zrobić. Ko

amazon-s3 apache-spark parquet apache-spark-sql 2014-10-13

---