apache-spark

10Ciepło

1Odpowiedz

Szukam przekonwertowania niektórych kodu R na Sparklyr, funkcje takie jak lmtest :: coeftest() i sandwich :: sandwich(). Próbując zacząć korzystać z rozszerzeń Sparklyr ale całkiem nowy interfejs API

25Ciepło

3Odpowiedz

Ostrzeżenia budując Scala projektu/Spark z SBT

Próbuję zbudować Scala projektu/iskry w IntelliJ IDEA z następującym build.sbt: name := "try" version := "1.0" scalaVersion := "2.11.8" val sparkVersion = "2.2.0" resolvers ++= Seq( "apach

5Ciepło

2Odpowiedz

pyspark: średnia krocząca przy użyciu danych timeseries

Mam zestaw danych składający się z kolumny sygnatury czasowej i kolumny w dolarach. Chciałbym znaleźć średnią liczbę dolarów tygodniowo kończącą się znacznikiem czasu każdego rzędu. Początkowo patrzył

7Ciepło

2Odpowiedz

iskrzenie 2.1.1: Analizowane wartości JSON nie są zgodne z konstruktorem klasy

Mam dziwny problem z spark 2.1.1 i json4s.jackson. Uaktualniłem mój projekt przesyłania strumieniowego z spark 1.5.1. Teraz, gdy wykonuję kod w IDE, wszystko działa dobrze. Ale po assembly i wykonanie

6Ciepło

1Odpowiedz

Konwertuj ciąg znaków SQL na znacznik czasu

Jestem nowy w Spark SQL i próbuję przekonwertować ciąg znaków na znacznik czasu w ramce danych iskry. Mam ciąg znaków, który wygląda jak '2017-08-01T02:26:59.000Z' w kolumnie o nazwie time_string mój

8Ciepło

1Odpowiedz

Jaka jest różnica między spark.sql.shuffle.partitions a spark.default.parallelism?

Jaka jest różnica między spark.sql.shuffle.partitions i spark.default.parallelism? Próbowałem ustawić oba w SparkSQL, ale liczba Zadaniem drugiego etapu jest zawsze 200.

5Ciepło

1Odpowiedz

Czy można odczytać pliki PDF/audio/wideo (dane niestrukturalne) za pomocą Apache Spark?

Czy można odczytać pliki PDF/audio/wideo (dane niestrukturalne) za pomocą Apache Spark? Na przykład mam tysiące faktur pdf i chcę odczytywać dane od nich i wykonywać na nich analizy. Jakie kroki należ

6Ciepło

1Odpowiedz

Jak mogę wydrukować ramkę danych w Zeppelin/Spark/Scala?

Używam Spark 2 i Scala 2.11 w notatniku Zeppelin 0.7. Mam dataframe że mogę wydrukować tak: dfLemma.select("text", "lemma").show(20,false) a wyjście wygląda następująco: +---------------------------

10Ciepło

1Odpowiedz

Stwórz stanowy łańcuch dla różnych zdarzeń i przypisz globalny identyfikator w iskrze

Pracujemy z spark 1.6 i staramy się zachować globalną tożsamość dla podobnych zdarzeń. Może istnieć kilka "grup" zdarzeń o identycznym ID (w przykładzie jako liczba, litery są dodawane tylko dla unika

7Ciepło

1Odpowiedz

Dlaczego nie mogę wyświetlić kolumny predykcyjnej Spark MultilayerPerceptronClassifier?

Używam programu Spark's MultilayerPerceptronClassifier. Generuje to kolumnę "przewidywaną" w "przewidywaniach". Kiedy próbuję to pokazać, pojawia się błąd: SparkException: Failed to execute user defin