mholt/PapaParse

Automatic CSV delimiter detection

Open

#1.081 geöffnet am 12. Jan. 2025

Auf GitHub ansehen
 (2 Kommentare) (3 Reaktionen) (0 zugewiesene Personen)JavaScript (1.157 Forks)batch import
enhancementhelp wantedv6-todo

Repository-Metriken

Stars
 (11.877 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Although PapaParse has a delimiter guessing mechanism, the method is far from being accurate. Actually, the research on this subject is on its way. Libraries like CleverCSV implements robust dialect sniffing strategies, backed by scientific research.

However, it is actually really difficult to separate the delimiters guessing mechanism from the Python's CleverCSV library. A recent research has pointed out a new universal method that can be integrated into whatever CSV parser, proved far more reliable than CleverCSV, as its research paper demonstrate.

The proposal is to implement the Table Uniformity Method, already implemented in Python and being considered to be implemented in Rust, by code porting. In this way, the wonderful PapaParse project will have an state of the art delimiter guessing strategy, improving significantly the automation in CSV processing.

Contributor Guide

Research-Richtung
Das Issue schlägt vor, die Table Uniformity Method zur automatischen Trennzeichenerkennung in PapaParse zu implementieren. Beginnen Sie mit einer Überprüfung des vorhandenen Trennzeichen Erkennungsmechanismus im Quellcode von PapaParse (wahrscheinlich in der Haupt Parser Datei). Studieren Sie dann die referenzierte Python Implementierung der Methode (https://github.com/ws garcia/CSVsniffer/tree/main/python) und das Forschungsdokument (https://doi.org/10.3233/DS 240062), um den Algorithmus zu verstehen. Das Ziel ist es, die Methode nach JavaScript zu portieren und in die Parsing Logik von PapaParse zu integrieren. Sehen Sie sich vorhandene Diskussionen in den Issue Kommentaren für zusätzlichen Kontext an.
Tech Stack
javascript
Domain
data
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Understanding of CSV parsingAlgorithm implementation skills
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35