combust/mleap

Add support for spark-extensions transformers in Pyspark

Open

#570 aperta il 24 set 2019

Vedi su GitHub
 (10 commenti) (0 reazioni) (0 assegnatari)Scala (312 fork)batch import
enhancementepichelp wanted

Metriche repository

Star
 (1461 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Creating this parent issue to track progress on adding support for spark-extensions transformers in Pyspark.

  • Support for StringMap
  • Support for MathBinary
  • Support for MathUnary
  • Support for WordLengthFilter
  • Support for MultinomialLabeler
  • Support for Imputer
  • Support for OneVsRest
  • Support for SupportVectorMachine
  • Add unit test support for Pyspark transformers

Related issues:

There are currently two examples of custom transformers in Pyspark under https://github.com/combust/mleap/pull/568.

Guida contributor

Direzione di ricerca
Esamina gli esempi nella PR #568 per i trasformatori PySpark personalizzati. Seleziona uno dei trasformatori non completati (WordLengthFilter, MultinomialLabeler, Imputer, OneVsRest, SupportVectorMachine) e implementalo seguendo il modello. Assicurati di aggiungere test unitari.
Tech stack
pythonscala
Dominio
machine learningbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPySparkScalaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65