WallStreetBets CSV merge retains revised dates as duplicate rows
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 78/100
Piste de recherche
Read DataProcessing/QuiverWallStreetBetsDataDownloader.cs, focusing on SaveContentToFile and how it distinguishes ticker rows from universe rows. Add tests for revised values and pre-existing duplicates, using date as the ticker key and security as the universe key. Done means each key has one row, with fetched values replacing stored values.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
QuiverWallStreetBetsDataDownloader.SaveContentToFile merges by the entire CSV line, so a revised value for an existing date is appended alongside the old value rather than replacing it.
I reproduced the merge using the current helper body in an isolated .NET 10 harness:
- Existing
abc.csv:20260808,10,1,0.1 - Fetched contents:
20260808,12,1,0.1 - Actual output:
20260808,12,1,0.1 20260808,10,1,0.1
The ticker file now contains two observations for the same date. The same helper also merges universe rows by whole line, so a revised row for the same security can coexist with its older value.
Cause: DataProcessing/QuiverWallStreetBetsDataDownloader.cs, SaveContentToFile constructs a HashSet<string> from fetched lines and then adds stored lines. Unequal values do not deduplicate by date/security identity.
A fix should keep one observation per date in ticker files and per security in a daily universe, letting fetched values replace stored ones. Include tests with revised values and pre-existing duplicates. Suggestion: index by the logical row key rather than the whole line. No provider download was used in this synthetic reproduction.
- Langage dominant
- C#
- Étoiles
- 0
- Forks
- 3
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de QuantConnect/Lean.DataSource.QuiverQuant
-
Difficulté 3/5 1-2 jours Accessibilité débutants 72/100
-
Difficulté 3/5 1-2 jours Accessibilité débutants 72/100
Toutes les issues de QuantConnect/Lean.DataSource.QuiverQuant
Issues similaires
-
bug emitter:client:csharp
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
microsoft/typespec#12572 · 1 commentaire · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
needs-area-label
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 2 jours
-
AWS Lambda: KeyNotFoundException drops HTTP-triggered transactions when allowAllHeaders is disabledOuvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
newrelic/newrelic-dotnet-agent#3949 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
area-networking
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
dotnet/aspnetcore#70545 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 87/100
Les mainteneurs répondent en général sous 1 jour