etl

5Ciepło

2Odpowiedz

Jak korzystać OrientDB ETL tworzyć krawędzie tylko

Mam dwa pliki CSV: Pierwszy zawierający ~ rekordy 500M w następującym formacie id,name 10000023432,Tom User 13943423235,Blah Person drugie zawierający ~ znajomy 1.5b relacje w następującym formacie fr

6Ciepło

2Odpowiedz

Zastąp brakujące wartości w SAS

Jak zastąpić wszystkie brakujące wartości zerami w SAS? Mam plik tekstowy, który zrzucam do SAS, aby przetworzyć niektóre dane geograficzne, ale gdy tylko ma brakującą wartość, przerywa operacje. Czy

6Ciepło

1Odpowiedz

Zatrzymaj pracę Kettle Job/Transformation za pomocą Java

Zajmuję się także ETL opartym na aplikacji internetowej (z silnikiem Kettle), używając Java. Występują problemy podczas próby zatrzymania uruchomionego zadania. Nie jestem pewien, czy użycie CarteSing

10Ciepło

1Odpowiedz

Co to jest tabela pomostowa?

Czy tabele pomostowe są używane tylko w projekcie hurtowni danych lub w jakimkolwiek projekcie SSIS? Chciałbym wiedzieć, co to jest stół inscenizacyjny? Czy ktoś może podać mi kilka przykładów, jak go

5Ciepło

1Odpowiedz

Zapisywanie kolumny JSON do Postgres przy użyciu Pand. To_sql

Podczas procesu ETL potrzebowałem wyodrębnić i załadować kolumnę JSON z jednej bazy danych Postgres do drugiej. Używamy do tego Pand, ponieważ ma wiele sposobów na odczytywanie i zapisywanie danych z

5Ciepło

2Odpowiedz

Najlepsza architektura do konwersji JSON na SQL?

Po prostu zastanawiałem się, czy ktoś ma jakieś przemyślenia na temat konwersji struktury bazy danych JSON-document na SQL. Trzeba to zrobić dla integracji danych/magazynowania. Pola JSON są stosunkow

5Ciepło

1Odpowiedz

Kompleksowe dołączanie do przepływu danych Google

Jestem początkującym, próbującym zrozumieć, jak możemy ponownie zapisać proces wsadowy ETL w Google Dataflow. Czytałem niektóre dokumenty, uruchom kilka przykładów. Proponuję, aby nowy proces ETL był

10Ciepło

2Odpowiedz

Airflow: wzór do uruchomienia nawiewu subdag raz

z dokumentacji przepływu powietrza: SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything Rozumiem subda

12Ciepło

2Odpowiedz

Jak dodać nową kolumnę Struct do DataFrame

Obecnie próbuję wyodrębnić bazę danych z MongoDB i użyć Sparka do przetrawienia w ElasticSearch z geo_points. Baza danych Mongo ma wartości szerokości i długości geograficznej, ale ElasticSearch wymag

14Ciepło

3Odpowiedz

zmień tabelę, a następnie zaktualizuj w pojedynczym komunikacie

Mam wymaganie, gdy muszę zmienić (dodaj 2 kolumny), a następnie zaktualizuj tę samą tabelę. Oto zapytanie Próbowałem: ALTER TABLE A ADD c1 int,c2 varchar(10) UPDATE A set c1 = 23, c2 = 'ZZXX' pot