Boto3 EMR - Hive krok

Question

Czy można przeprowadzić etapy ula za pomocą boto 3? Robiłem to przy użyciu AWS CLI, ale z dokumentów (http://boto3.readthedocs.org/en/latest/reference/services/emr.html#EMR.Client.add_job_flow_steps), wydaje się, że tylko słoiki są akceptowane. Jeśli kroki Hive są możliwe, gdzie są zasoby?

Dzięki

Answer 1

W poprzedniej wersji Inii nastąpił klasa pomocnika nazwany HiveStep co sprawiło, że łatwo skonstruować etap przepływu pracy za wykonanie Hive pracę. Jednak w Boto3 podejście zmieniło się i klasy są generowane w czasie wykonywania z interfejsu API AWS REST. W rezultacie nie istnieje taka klasa pomocnicza. Patrząc na kod źródłowy HiveStep, https://github.com/boto/boto/blob/2d7796a625f9596cbadb7d00c0198e5ed84631ed/boto/emr/step.py można zauważyć, że jest to podklasa Step, która jest klasą o właściwościach jarargs i mainclass, bardzo podobną do wymagań w Boto3.

Okazuje się, że wszystkie etapy przepływu pracy w EMR, w tym w Hive, nadal muszą być tworzone z pliku JAR. Dlatego możesz wykonywać kroki Hive przez Boto3, ale nie ma klasy pomocnika, która ułatwiłaby skonstruowanie definicji.

Patrząc na podejście stosowane przez HiveStep w poprzedniej wersji Boto, można skonstruować poprawną definicję przepływu pracy.

Możesz też wrócić do używania poprzedniej wersji Boto.

Answer 2

udało mi się uzyskać to do pracy za pomocą Boto3:

# First create your hive command line arguments 
hive_args = "hive -v -f s3://user/hadoop/hive.hql" 

# Split the hive args to a list 
hive_args_list = hive_args.split() 

# Initialize your Hive Step 
hiveEmrStep=[ 
     { 
      'Name': 'Hive_EMR_Step', 
      'ActionOnFailure': 'CONTINUE', 
      'HadoopJarStep': { 
       'Jar': 'command-runner.jar', 
       'Args': hive_args_list 
      } 
     }, 
    ] 

# Create Boto3 session and client 
session = boto3.Session(region_name=AWS_REGION,profile_name=AWS_PROFILE) 
client = session.client('emr') 

# Submit and execute EMR Step 
client.add_job_flow_steps(JobFlowId=cluster_id,Steps=hiveEmrStep) 

#Where cluster_id is the ID of your cluster from AWS EMR (ex: j-2GS7xxxxxx)