feathr-ai/feathr

[BUG] non-feature columns get converted into string columns when get result dataframe

Open

#942 ouverte le 5 janv. 2023

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Scala (244 forks)batch import
buggood first issue

Métriques du dépôt

Stars
 (1 929 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Willingness to contribute

No. I cannot contribute a bug fix at this time.

Feathr version

0.9.0

System information

  • OS Platform and Distribution (e.g., Linux Ubuntu 20.0): Linux Ubuntu 20.0)
  • Python version: 3.8
  • Spark version, if reporting runtime issue: 3.3.1

Describe the problem

non-feature columns of the original source data get converted into string column, e.g. 0 (int) -> "0", True (bool) -> "True" string values when getting the feature result.

Tracking information

No response

Code to reproduce bug

No response

What component(s) does this bug affect?

  • Python Client: This is the client users use to interact with most of our API. Mostly written in Python.
  • Computation Engine: The computation engine that execute the actual feature join and generation work. Mostly in Scala and Spark.
  • Feature Registry API: The frontend API layer supports SQL, Purview(Atlas) as storage. The API layer is in Python(FAST API)
  • Feature Registry Web UI: The Web UI for feature registry. Written in React

Guide contributeur

Direction de recherche
Tracez le flux de données dans le moteur de calcul Feathr pour identifier où les colonnes non caractéristiques sont converties en chaînes de caractères lors de la jointure ou de la génération de caractéristiques. Examinez les transformations Spark DataFrame dans le code Scala, en particulier la partie qui gère les colonnes de données sources. Assurez vous que le schéma est correctement préservé.
Stack technique
scalasparkpython
Domaine
databackendmachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
ScalaApache Spark
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40