kryo

6Ciepło

4Odpowiedz

Jak serializator Kryo przydziela bufor w Spark

Proszę, pomóż zrozumieć, w jaki sposób serializator Kryo przydziela pamięć dla swojego bufora. Moja aplikacja Spark kończy się niepowodzeniem na etapie zbierania danych, gdy próbuje zebrać około 122 M

apache-spark pyspark kryo 2015-08-11

---

5Ciepło

2Odpowiedz

Serializator Kryo powodujący wyjątek w podstawowej klasie Scala WrappedArray

Dwa pytania, odpowiedź na ogólną pozwoli mi zorientować się, jak minimalnie mogę stworzyć MVCE. 1) W jaki sposób mogę się zarejestrować, aby zarejestrować WrappedArray z góry (i każdej innej klasy w S

java scala serialization apache-spark kryo 2016-01-12

---

6Ciepło

1Odpowiedz

Dlaczego Kafka Direct Stream tworzy nowy dekoder dla każdej wiadomości?

Mam aplikację do przesyłania strumieniowego Spark napisaną w Javie i używanie Sparka 2.1. Używam KafkaUtils.createDirectStream do czytania wiadomości od Kafki. Używam kodera/dekodera kryo dla wiadomoś

java apache-spark apache-kafka spark-streaming kryo 2017-12-15

---

9Ciepło

2Odpowiedz

serializacja list w katalogach

Próbuję serializować listę list niektórych obiektów (niestandardowej klasy: Lista>), używając Kryo. list2D; // List<List<MyClass>> which is already produced. Kryo k1 = new Kryo(); Output output = n

java list serialization constructor kryo 2013-01-22

---

8Ciepło

1Odpowiedz

Jak deserializować niezmienną kolekcję za pomocą Kryo?

Jak deserializować niezmienny zbiór przy użyciu Kryo? Czy muszę zarejestrować coś oprócz tego, co zrobiłem? Oto mój przykładowy kod import com.esotericsoftware.kryo.Kryo import com.esotericsoftware.k

scala serialization scala-2.10 kryo 2013-05-10

---

6Ciepło

1Odpowiedz

Jak sparować obiekt za pomocą Kryo Spark?

Chciałbym przekazać obiekt z węzła sterownika do innych węzłów, w których znajduje się RDD, tak aby każda partycja RDD mogła uzyskać dostęp do tego obiektu, jak pokazano w poniższym fragmencie. object

serialization apache-spark kryo 2015-02-17

---

8Ciepło

1Odpowiedz

Spark Kryo: Zarejestruj niestandardowy serializator

Mam klasę, która implementuje niestandardowy serializator Kryo, implementując metody read() i write() z com.esotericsoftware.kryo.Serializer (patrz przykład poniżej). Jak mogę zarejestrować ten niesta

scala apache-spark kryo 2016-03-22

---

6Ciepło

1Odpowiedz

Serializacja Java, Kryo i wykres obiektów

Powiedzmy, że mam w pamięci tablicę arr obiektów typu A, z których każda ma pole odniesienia wskazujące na ten sam obiekt, B. Ilustracja: A_1 A_2 A_3 ... A_N | | | | | | V | \--->\--> B <-----/

java serialization kryo 2012-09-16

---

7Ciepło

3Odpowiedz

Deserializacja Kryo kończy się niepowodzeniem z "KryoException: underflow buffer"

Używam Kryo do pisania obiektów w tablicach bajtowych. To działa dobrze. Ale gdy tablice bajtów są konwertowane na obiekty, to wyrzuca wyjątek od com.esotericsoftware.kryo.KryoException: Buffer underf

java serialization io kryo 2014-06-30

---

7Ciepło

2Odpowiedz

Iskra z Arvo, Kryo i Parkietem

Staram się zrozumieć, co dokładnie robią Arvo, Kryo i Parquet w kontekście Sparka. Wszystkie są związane z serializacją, ale widziałem je razem, więc nie mogą robić tego samego. Parkiet opisuje siebie

apache-spark kryo parquet 2015-06-14

---