Airflow „Ten isnt DAG dostępny w DagBag obiektu webserwerem”

Question

kiedy kładę nowy skrypt Pythona DAG w folderze DAG, mogę zobaczyć nowy wpis DAG DAG w interfejsie użytkownika, ale nie został włączony automatycznie. Ponadto, wygląda na to, że nie jest ładowany poprawnie. Mogę tylko kliknąć przycisk Odśwież kilka razy po prawej stronie listy i przełączać przycisk włączania/wyłączania po lewej stronie listy, aby móc zaplanować DAG. Są to proces ręczny, ponieważ muszę wywołać coś, mimo że skrypt DAG został umieszczony w folderze dag.

Ktoś może mi w tym pomóc? Czy coś przeoczyłem? Czy jest to prawidłowe zachowanie w przepływie powietrza?

Nawiasem mówiąc, jak wspomniano w tytule wpisu, znajduje się wskaźnik z następującym komunikatem: "Ta DAG nie jest dostępna w obiekcie DagBag serwera WWW, pojawia się na tej liście, ponieważ program planujący oznaczył ją jako aktywną w baza danych metadanych "oznaczona tytułem DAG, zanim uruchomię cały ten proces ręczny.

Answer 1

Problem jest, bo DAG domyślnie jest umieszczany w DagBag w przerwał stan tak, że harmonogram nie jest zasypany z dużą ilością aktywności zasypki na start/restart.

Aby obejść tę zmianę poniższego ustawienia w swojej airflow.cfg pliku:

# Are DAGs paused by default at creation 
dags_are_paused_at_creation = False 

nadzieję, że to pomaga. Twoje zdrowie!

Answer 2

To nie jesteś ty, ani nie jest to prawidłowe lub oczekiwane zachowanie. To aktualny "błąd" z Airflow. Serwer WWW buforuje DagBag w taki sposób, że nie można go używać zgodnie z oczekiwaniami.

Co sugeruje Dmitrij w swoim komentarzu jest to, co można zrobić teraz obawiam. Później możesz otrzymać (nie) -pochodzić, że Priyank wskazuje, ale to jest oczekiwane zachowanie (stan: wstrzymany lub nie) w zależności od konfiguracji masz w swojej instalacji.

Z oficjalnej TODO w ramach mapy drogowej:

• próba usuwania buforowanie DagBag dla serwera WWW