aws/aws-sdk-pandas

emr fleets with multiple instance types

Open

Aperta il 5 feb 2021

Vedi su GitHub
 (1 commento) (2 reazioni) (1 assegnatario)Python (3560 star) (630 fork)batch import
featurehelp wanted

Descrizione

It would be nice if there was an option to multiple instance types to fleet configuration. When using aws emr create-cluster, this can be done by passing an argument like InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=2}']

Guida contributor

Tech stack
awspython
Dominio
cloud
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
blocked
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
AWS EMR conceptsPythonaws sdk pandas codebase
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25
Direzione di ricerca
Investigate the current implementation of EMR cluster creation in the aws sdk pandas library. Look for the function that handles create cluster and see how instance types are currently specified. The user wants to extend it to support multiple instance types via InstanceTypeConfigs. Check the existing code for any similar patterns and test coverage. Consider the trade offs between adding a new parameter and modifying the existing one.