Airflow: wzór do uruchomienia nawiewu subdag raz

Question

z dokumentacji przepływu powietrza:

SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 

Rozumiem subdagoperator jest faktycznie realizowany jako BackfillJob i dlatego musimy zapewnić schedule_interval dla operatora. Czy istnieje jednak sposób na uzyskanie semantycznego odpowiednika schedule_interval="@once" dla subdagu? Obawiam się, że jeśli użyję zestawu schedule_interval="@daily" dla subdagu, że podagar może działać więcej niż jeden raz, jeśli subdag trwa dłużej niż dzień, aby uruchomić.

def subdag_factory(parent_dag_name, child_dag_name, args): 
    subdag = DAG(
     dag_id="{parent_dag_name}.{child_dag_name}".format(
      parent_dag_name=parent_dag_name, child_dag_name=child_dag_name 
     ), 
     schedule_interval="@daily", # <--- this bit here 
     default_args=args 
    ) 

    ... do more stuff to the subdag here 
    return subdag 

TLDR: jak udawać się „tylko uruchomić ten subdag raz na spuście dag dominującej”

Answer 1

Spróbuj zewnętrznego wzorca wyzwalania z harmonogramem = None dla subdag. W takim przypadku będzie on uruchamiany tylko wtedy, gdy wyzwalacz zostanie wygenerowany przez rodzica dag

Answer 2

Uważam, że schedule=@once działa dobrze dla moich subdags. Być może moja wersja jest nieaktualna, ale miałem więcej problemów z moimi subdagami , które zawiodły nawet wtedy, gdy wszystkie zadania powiodły się (lub zostały pominięte) niż odwrotnie.

Rzeczywista przykładowy kod działa dość szczęśliwie żyć na moim komputerze teraz:

subdag_name = ".".join((parent_name,child_name)) 
logging.info(parent_name) 
logging.info(subdag_name) 
dag_subdag = DAG(
    dag_id=subdag_name, 
    default_args=dargs, 
    schedule_interval="@once", 
) 

W rzeczywistości, pierwotnie zbudowany prawie wszystkie moje DAG jak pliki uwielbiony cfg dla moich subdags. Nie jestem pewien, jak dobry jest pomysł, po kilku próbach i błędach, ale interwał harmonogramu nigdy nie był dla mnie blokerem.

Używam stosunkowo niedawnej wersji 1.8 z kilkoma dostosowaniami. Podążałem za przykładem sugestii Dag, aby przechowywać moje subdags w folderze wewnątrz folderu dags, aby nie pojawiały się w DagBag.