feathr-ai/feathr

Path concatenation without forward slash

Open

#297 ouverte le 23 mai 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Scala (1 929 stars) (244 forks)batch import
featuregood first issue

Description

This is reported by Manjunath from Slack channel. For work_dir: "dbfs:/feathr_getting_started" The user was running jupyter notebook from windows. without forward slash('dbfs:/feathr_getting_started') the job configs were coming as '--join-config', 'dbfs:/feathr_getting_started\feature_join.conf'

To fix this, the user need to add foward slash: work_dir: "dbfs:/feathr_getting_started"

We should add validation or automatically append a forward slash. The best way would be using Path utils that can join files/folders properly.

Guide contributeur

Stack technique
scalapythonspark
Domaine
data
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
under 1 hour
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Aucun
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80
Direction de recherche
The issue is about path concatenation errors when work dir lacks a trailing slash. The fix should involve adding validation or using path joining utilities (e.g., os.path.join in Python, Path in Scala) to ensure proper joining. Look at the configuration handling code, possibly in the Python SDK or Scala job submission components. Test on Windows to confirm the fix.