Native JSON file scan
Les mainteneurs répondent en général sous 2 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 8/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Domaine
- data-engineering
Piste de recherche
Start from the existing JSON handling in the Spark integration: spark.comet.convert.json.enabled and the FileSourceScanExec path for JsonFileFormat and JsonScan, plus the opt-in native from_json code that may share parsing logic. The issue lists the modes and options a native scan must match, but no single file or failing test is named. Done means a native scan that reproduces Spark's JSON results for those options and falls back for the rest, which is design work.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
What is the problem the feature request solves?
JSON sources (FileSourceScanExec with JsonFileFormat, and V2 JsonScan) are read by Spark. spark.comet.convert.json.enabled can convert Spark's rows to Arrow, but parsing still runs on the JVM.
Describe the potential solution
Add a native JSON scan that matches Spark's JSON reader:
- user-supplied schema
PERMISSIVE,DROPMALFORMEDandFAILFASTmodes, andcolumnNameOfCorruptRecord- timestamp and date formats with the session timezone
- multi-line JSON and compression codecs
- fall back for the options it can't match
Additional context
Native from_json already exists (opt-in). It may share parsing code with the scan.
- Langage dominant
- Scala
- Étoiles
- 1.3k
- Forks
- 414
- Merge moyen
- 3 j 4 h
- PR mergées (30 j)
- 202
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/datafusion-comet
-
Native MergeRows can panic or produce wrong masks - arrow 59 `and_not` mishandles sliced arraysOuverterequires-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
apache/datafusion-comet#7596 ·
Les mainteneurs répondent en général sous 2 jours
-
requires-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/datafusion-comet#7583 ·
Les mainteneurs répondent en général sous 2 jours
-
bug priority:medium
Difficulté 2/5 1-3 heures Accessibilité débutants 73/100
apache/datafusion-comet#7559 · 2 commentaires ·
Les mainteneurs répondent en général sous 2 jours
-
area:writer bug priority:low
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/datafusion-comet#7558 ·
Les mainteneurs répondent en général sous 2 jours
-
enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/datafusion-comet#7557 ·
Les mainteneurs répondent en général sous 2 jours
Toutes les issues de apache/datafusion-comet
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
lichess-org/lila#22466 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
30-minutes algorithm any-language codewars dart easy elixir hackerrank hacktoberfest haskell help wanted interview-prep julia leetcode lua open-source r scala students zig
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
Huerte/algo-solutions-python#226 ·
Les mainteneurs répondent en général sous 1 jour
-
? - Needs Triage bug reliability
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
NVIDIA/cudf-spark#16810 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
propensive/soundness#2465 ·
Les mainteneurs répondent en général sous 1 jour
-
A-api C-bug S-ready-for-human
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
ergoplatform/ergo#2932 ·
Les mainteneurs répondent en général sous 3 jours