avro

14Ciepło

2Odpowiedz

Dlaczego funkcja Spark działa gorzej podczas korzystania z serializacji Kryo?

Włączyłem serializację Kryo dla mojej pracy Spark, włączyłem ustawienie wymagające rejestracji i upewniłem się, że wszystkie moje typy zostały zarejestrowane. val conf = new SparkConf() conf.set("spa

7Ciepło

1Odpowiedz

Avro Plik tekstowy generowany przez Flume Twitter Agent nie jest czytany w Javie

Nie można odczytać i przeanalizować pliku utworzonego przez transmisję strumieniową danych Twittera za pomocą agenta Flume twitter, ani za pomocą Java ani Avro Tools. Moim wymaganiem jest zamiana form

5Ciepło

1Odpowiedz

Jak połączyć rekord z mapą w Avro?

Mam do czynienia z dziennikami serwera, które są w formacie JSON, i chcę przechowywać moje dzienniki na AWS S3 w formacie Parkiet (i Parkiet wymaga schematu Avro). Po pierwsze, wszystkie dzienniki maj

7Ciepło

1Odpowiedz

Jak uprościć Apache Avro?

Pracuję nad projektem Android z Apache Avro, ale zależy to od dwóch bibliotek Jacksona (core-asl.jar i mapper-asl.jar). Niestety te dwie biblioteki są zbyt duże dla aplikacji na Androida. Zastanawiam

7Ciepło

1Odpowiedz

Scalanie dwóch schematów avro programowo

Mam dwa podobne schematy, w których zmienia się tylko jedno pole zagnieżdżone (nazywa się onefield w schemacie 1 i anotherfield w schemacie2). schema1 { "type": "record", "name": "event",

10Ciepło

1Odpowiedz

obsługuje odtwarzanie strumieniowe w avro C zamiast przesyłania plików?

Przeszedłem przez dokument C pod numerem avro i widzę, że mogę dostać tylko plik AVRO do pliku. Jak uzyskać zserializowane wyjście do bufora, aby można było przesłać gniazdo Tcp. Każda pomoc jest doce

6Ciepło

1Odpowiedz

Konwertowanie danych na generyczne zapisy w pliku confluent.io i przesyłanie za pośrednictwem produktu KafkaProducer

Jestem całkowicie nowym użytkownikiem Kafki i Avro i próbuję użyć pakietu konfluentującego. Mamy istniejące POJO, których używamy do JPA i chciałbym móc po prostu utworzyć instancję moich POJO bez kon

12Ciepło

1Odpowiedz

Schemat ewolucji w formacie parkietowym

Obecnie używamy formatu danych Avro w produkcji. Z N dobrych punktów Avro wiemy, że jest dobry w ewolucji schematu. Teraz oceniamy Format parkietowy ze względu na jego wydajność podczas odczytywania l

6Ciepło

3Odpowiedz

Avro schematu nie honoruje wsteczną zgodnością

mam ten Avro schematu { "namespace": "xx.xxxx.xxxxx.xxxxx", "type": "record", "name": "MyPayLoad", "fields": [ {"name": "filed1", "type": "string"}, {"name": "filed2", "type": "long"},

7Ciepło

1Odpowiedz

Kafka Avro Consumer z problemami dekodera

Kiedy próbowałem uruchomić Kafka Consumer with Avro nad danymi z moim schematem, zwraca błąd "AvroRuntimeException: źle sformułowane dane. Długość jest ujemna: -40". Widzę, że inni mieli podobne probl