WallStreetBets CSV merge retains revised dates as duplicate rows

Abierto
  • ¿Algo no está bien?
#13 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
78/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
csharp
Área
data

Línea de trabajo

Read DataProcessing/QuiverWallStreetBetsDataDownloader.cs, focusing on SaveContentToFile and how it distinguishes ticker rows from universe rows. Add tests for revised values and pre-existing duplicates, using date as the ticker key and security as the universe key. Done means each key has one row, with fetched values replacing stored values.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

QuiverWallStreetBetsDataDownloader.SaveContentToFile merges by the entire CSV line, so a revised value for an existing date is appended alongside the old value rather than replacing it.

I reproduced the merge using the current helper body in an isolated .NET 10 harness:

  • Existing abc.csv: 20260808,10,1,0.1
  • Fetched contents: 20260808,12,1,0.1
  • Actual output: 
    20260808,12,1,0.1
20260808,10,1,0.1

The ticker file now contains two observations for the same date. The same helper also merges universe rows by whole line, so a revised row for the same security can coexist with its older value.

Cause: DataProcessing/QuiverWallStreetBetsDataDownloader.cs, SaveContentToFile constructs a HashSet<string> from fetched lines and then adds stored lines. Unequal values do not deduplicate by date/security identity.

A fix should keep one observation per date in ticker files and per security in a daily universe, letting fetched values replace stored ones. Include tests with revised values and pre-existing duplicates. Suggestion: index by the logical row key rather than the whole line. No provider download was used in this synthetic reproduction.

Lenguaje dominante
C#
Estrellas
0
Forks
3
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de QuantConnect/Lean.DataSource.QuiverQuant

Todos los issues de QuantConnect/Lean.DataSource.QuiverQuant

Issues similares

Más issues de C#

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.