apache/beam

[Task]: Create a script to train sklearn model for IT test.

Ouverte

#24 903 ouverte le 5 janv. 2023

Voir sur GitHubGuide contributeur
 (19 commentaires) (0 réaction) (4 personnes assignées)Java (4 097 forks)batch import
P2good first issuepythonrun-inferencetask

Métriques du dépôt

Stars
 (7 313 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

What needs to happen?

Sklearn doesn't offer backward compatibility wrt models on newer versions. In the Sklearn IT tests, we use models trained manually and this can get outdated when there is an update to sklearn.

So to tackle this, we need to create a script which trains the sklearn models on the data and then publish this model to a GCS bucket, once this is done we can use this model to run Sklearn IT test.

Issue Priority

Priority: 2 (default / most normal work should be filed as P2)

Issue Components

  • Component: Python SDK
  • Component: Java SDK
  • Component: Go SDK
  • Component: Typescript SDK
  • Component: IO connector
  • Component: Beam examples
  • Component: Beam playground
  • Component: Beam katas
  • Component: Website
  • Component: Spark Runner
  • Component: Flink Runner
  • Component: Samza Runner
  • Component: Twister2 Runner
  • Component: Hazelcast Jet Runner
  • Component: Google Cloud Dataflow Runner

Guide contributeur

Direction de recherche
Examinez les tests IT sklearn existants pour comprendre le format du modèle et les données utilisées. Créez ensuite un script d'entraînement qui génère le modèle et le télécharge vers un bucket GCS. Mettez à jour le test pour télécharger le modèle depuis GCS.
Stack technique
python
Domaine
testingdevops
Type d'issue
Maintenance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60