airflow

6Ciepło

2Odpowiedz

mam serwer WWW działała prawidłowo, a mój plik powietrza-scheduler.service uruchamia program planujący i uzna moje DAG itp Jednak zadania nie są uruchomione: widzę komunikat o błędzie o/bin/sh ERROR -

10Ciepło

2Odpowiedz

Airflow: wzór do uruchomienia nawiewu subdag raz

z dokumentacji przepływu powietrza: SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything Rozumiem subda

5Ciepło

2Odpowiedz

Jak uruchamiać codzienne uruchamianie DAG o północy czasu lokalnego zamiast o północy Czas UTC

Jestem w strefie czasowej UTC + 4, więc kiedy przepływ powietrza wyzwala nocne ETL-y, jest już 4:00 tutaj. Jak mogę powiedzieć przepływowi powietrza, aby uruchomić przebieg dnia DS już na dzień ds-1 o

5Ciepło

1Odpowiedz

Przepływ powietrza - Instancja zadania w sterowniku EMR

W systemie Airflow napotykam problem, który muszę przekazać job_flow_id do jednego z moich kroków emr. Jestem w stanie pobrać job_flow_id od operatora, ale kiedy mam zamiar utworzyć kroki do przesłani

11Ciepło

2Odpowiedz

Test jednostki Pythona w powietrzu?

Chciałbym dodać kilka testów jednostkowych dla naszych DAG, ale nie mogłem znaleźć żadnych. Czy istnieje ramowy test jednostkowy dla DAG? Istnieje szkielet testowania End-to-End, który istnieje, ale m

5Ciepło

1Odpowiedz

Airflow pracownik nie nasłuchuje domyślnie RabbitMQ kolejkę

mam skonfigurowany przepływ powietrza o RabbitMQ broker, usługi: airflow worker airflow scheduler airflow webserver są uruchomione bez żadnych błędów. Planista naciska zadania do wykonania na kole

5Ciepło

2Odpowiedz

Nie można importować wtyczek przepływu powietrza

Poniższy samouczek dotyczący przepływu powietrza: here. Problem: serwer WWW zwraca następujący błąd Broken DAG: [/usr/local/airflow/dags/test_operator.py] cannot import name MyFirstOperator Uwagi:

5Ciepło

1Odpowiedz

Jak używać xcomów przepływu powietrza za pomocą MySqlOperator

def mysql_operator_test(): DEFAULT_DATE = datetime(2017, 10, 9) t = MySqlOperator( task_id='basic_mysql', sql="SELECT count(*) from table 1 where id>100;", mysql_conn_id='my

6Ciepło

2Odpowiedz

Uruchamianie skryptów R w przepływie powietrza?

Czy można uruchomić skrypt R jako dag? Próbowałem szukać w internecie dokumentacji na ten temat i nie jestem w stanie tego zrobić. Dzięki

6Ciepło

1Odpowiedz

Przepływ powietrza - zadanie długotrwałe w subdag oznaczone jako nieudane po godzinie

Mam subdag w przepływie powietrza z długim etapem (zazwyczaj około 2 godzin, choć zależy to od tego, która jednostka jest uruchamiana). Zgodnie z 1.7.1.3, ten krok konsekwentnie powodowałby, że SubDAG