avro

15Ciepło

2Odpowiedz

Czy mogę uzyskać definicję klasy przypadku Scala z definicji schematu Avro?

Aby ułatwić pracę z Avro w Scali, chciałbym zdefiniować klasę case na podstawie schematu przechowywanego w pliku .avro. Mogę spróbować: Ręczne pisanie definicji klasy .scala. Programowo pisania ciągi

10Ciepło

2Odpowiedz

Hive utwórz tabelę z wejściami z zagnieżdżonych podkatalogów

Mam dane w formacie Avro w HDFS w ścieżkach plików takich jak: /data/logs/[foldername]/[filename].avro. Chcę utworzyć tabelę Hive nad wszystkimi tymi plikami dziennika, tj. Wszystkie pliki w postaci /

9Ciepło

1Odpowiedz

Zakoduj obiekt z Avro do tablicy bajtów w Pythonie

W python 2.7, używając Avro, chciałbym zakodować obiekt do tablicy bajtów. Wszystkie przykłady, które znalazłem, zapisuję w pliku. Próbowałem za pomocą io.BytesIO(), ale to daje: AttributeError: '_io.

5Ciepło

2Odpowiedz

Jak korzystać z Apache avro GenericRecord dla danych dynamicznych?

Chcę użyć Apache Avro do serializowania moich danych, mój klient jest napisany w C++, a mój serwer jest napisany w Javie. Moje kod serwera java wygląda następująco: Schema scm = new Schema.Parser().pa

5Ciepło

2Odpowiedz

Jak określić wartość domyślną dla wyliczenia przy użyciu avro IDL?

Nie znalazłem nic w dokumentacji na ten temat, tylko ogólne informacje na temat wartości domyślnych. Moje założenie, że to powinno działać tak: enum MyEnum { UNSPECIFIED, SPECIFIED } reco

10Ciepło

2Odpowiedz

Serializacja danych z Avro w węźle js

Chciałbym serializować dane z obiektu JSON i przesłać go przez sieć z kafka jako koniec. Teraz mam Avro schematu w pliku, który zdeterminowany pola wymagane do wysłania do Kafka dla systemu rejestrowa

11Ciepło

3Odpowiedz

Avro ewolucja schematu

Mam dwa pytania: to możliwe, aby korzystać z tego samego czytnika i analizowania zapisów, które zostały napisane z dwóch schematów, które są kompatybilne, na przykład Schema V2 ma tylko dodatkowe pole

6Ciepło

3Odpowiedz

Czy możesz umieszczać komentarze w plikach schematów Avro JSON?

Piszę mój pierwszy schemat Avro, który używa JSON jako języka schematu. Wiem, że nie możesz umieszczać komentarzy w zwykłym JSON, ale zastanawiam się, czy narzędzie Avro pozwala na komentarze. Na przy

6Ciepło

1Odpowiedz

Generowanie avro schematu z opcjonalnymi wartościami

Próbuję napisać bardzo prosty schemat avro (łatwy, ponieważ właśnie wskazuję mój bieżący numer), aby zapisać plik danych avro na podstawie danych przechowywanych w formacie json. Sztuczka polega na ty

12Ciepło

2Odpowiedz

Generowanie schematu Avro z określonego obiektu Java

Apache Avro zapewnia kompaktowy, szybki, binarny format danych, bogatą strukturę danych do serializacji. Jednak wymaga on zdefiniowania schematu (w JSON) dla obiektu, który ma być serializowany. W nie