WallStreetBets CSV merge retains revised dates as duplicate rows

Offen
  • Stimmt etwas nicht?
#13 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Anfängerfreundlichkeit
78/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
csharp
Bereich
data

Rechercherichtung

Read DataProcessing/QuiverWallStreetBetsDataDownloader.cs, focusing on SaveContentToFile and how it distinguishes ticker rows from universe rows. Add tests for revised values and pre-existing duplicates, using date as the ticker key and security as the universe key. Done means each key has one row, with fetched values replacing stored values.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

QuiverWallStreetBetsDataDownloader.SaveContentToFile merges by the entire CSV line, so a revised value for an existing date is appended alongside the old value rather than replacing it.

I reproduced the merge using the current helper body in an isolated .NET 10 harness:

  • Existing abc.csv: 20260808,10,1,0.1
  • Fetched contents: 20260808,12,1,0.1
  • Actual output: 
    20260808,12,1,0.1
20260808,10,1,0.1

The ticker file now contains two observations for the same date. The same helper also merges universe rows by whole line, so a revised row for the same security can coexist with its older value.

Cause: DataProcessing/QuiverWallStreetBetsDataDownloader.cs, SaveContentToFile constructs a HashSet<string> from fetched lines and then adds stored lines. Unequal values do not deduplicate by date/security identity.

A fix should keep one observation per date in ticker files and per security in a daily universe, letting fetched values replace stored ones. Include tests with revised values and pre-existing duplicates. Suggestion: index by the logical row key rather than the whole line. No provider download was used in this synthetic reproduction.

Vorherrschende Sprache
C#
Sterne
0
Forks
3
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus QuantConnect/Lean.DataSource.QuiverQuant

Alle Issues in QuantConnect/Lean.DataSource.QuiverQuant

Ähnliche Issues

Weitere Issues zu C#

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.