Revised daily values survive as duplicate rows in the CSV merge
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- csharp
- Área
- data-engineering
Línea de trabajo
Empieza por DataProcessing/QuiverWallStreetBetsDataDownloader.cs, centrándote en SaveContentToFile y en cómo se combinan las filas obtenidas y las almacenadas. Añade pruebas para valores revisados y duplicados preexistentes, que cubran una fila por fecha en los archivos de tickers y una por valor en un universo diario. Se considera terminado cuando las filas obtenidas reemplazan las filas anteriores con la misma clave lógica.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
QuiverWallStreetBetsDataDownloader.SaveContentToFile merges by the entire CSV line, so a revised value for an existing date is appended alongside the old value rather than replacing it.
I reproduced the merge using the current helper body in an isolated .NET 10 harness:
- Existing
abc.csv:20260808,10,1,0.1 - Fetched contents:
20260808,12,1,0.1 - Actual output:
20260808,12,1,0.1 20260808,10,1,0.1
The ticker file now contains two observations for the same date. The same helper also merges universe rows by whole line, so a revised row for the same security can coexist with its older value.
Cause: DataProcessing/QuiverWallStreetBetsDataDownloader.cs, SaveContentToFile constructs a HashSet<string> from fetched lines and then adds stored lines. Unequal values do not deduplicate by date/security identity.
A fix should keep one observation per date in ticker files and per security in a daily universe, letting fetched values replace stored ones. Include tests with revised values and pre-existing duplicates. Suggestion: index by the logical row key rather than the whole line. No provider download was used in this synthetic reproduction.
- Lenguaje dominante
- C#
- Estrellas
- 3
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Issues similares
-
bug emitter:client:csharp
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
microsoft/typespec#12572 · 1 comentario · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
needs-area-label
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 2 días
-
AWS Lambda: KeyNotFoundException drops HTTP-triggered transactions when allowAllHeaders is disabledAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
newrelic/newrelic-dotnet-agent#3949 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area-networking
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
dotnet/aspnetcore#70545 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 87/100
Los mantenedores suelen responder en 1 día