Unexpected data in Blob Dataset 2020
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter-notebook
- Área
- data
Línea de trabajo
Comienza con el esquema de 2020 Blob Dataset y el filtro de dataframe citado para AnonFunctionInvocationId 1967128581. Compara los demás IDs de invocación citados y sus valores de AnonAppName, y luego comprueba si la afirmación de unicidad del esquema está respaldada. La tarea se considera completada cuando se documente una explicación confirmada o una discrepancia reproducible en la calidad de los datos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The schema of the 2020 Blob Dataset presents AnonFunctionInvocationId and AnonAppName as unique IDs.
However, there are sometimes discrepancies where the invocationId spans multiple application names. For example,
full_df[full_df['AnonFunctionInvocationId'] == 1967128581]
| Timestamp | AnonRegion | AnonUserId | AnonAppName | AnonFunctionInvocationId | AnonBlobName | BlobType | AnonBlobETag | BlobBytes | Read | Write | Datetime |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1606814873193 | q2d | 1209884869 | 01qqaww4 | 1967128581 | 1wx5dgohq1kiwjum | BlockBlob/text/plain; charset=utf-8 | f1x5p2nqh6 | 28.0 | True | False | 2020-12-01 09:27:53.193 |
| 1607004493391 | q2d | 1209884869 | j2alqt8s | 1967128581 | 1wx5dgohq1kiwjum | BlockBlob/text/plain; charset=utf-8 | w5mohi6523 | 28.0 | True | False | 2020-12-03 14:08:13.391 |
This seems to be a recurrent pattern with this user, for example consider other functionInvocationIds 830734703, 440926898, or 900464655.
This leads me to believe that the cause is unlikely to be unfortunate prefixes of hashed IDs. Is there any way to explain this discrepancy, apart from the data being potentially unclean?
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 1.2k
- Forks
- 187
- Merge medio
- 1 h 28 min
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Azure/AzurePublicDataset
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 35/100
Azure/AzurePublicDataset#55 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Azure/AzurePublicDataset#54 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 50/100
Azure/AzurePublicDataset#53 ·
-
Can we rename file path to avoid error on Windows (which does not support colon in file paths)?Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100
Azure/AzurePublicDataset#47 · 3 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Azure/AzurePublicDataset#46 ·
Todos los issues de Azure/AzurePublicDataset
Issues similares
-
Add: &TV LogoAbiertocheck:passed logos:add
Dificultad 1/5 Menos de una hora Aptitud para principiantes 74/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
duneanalytics/spellbook#10100 ·
Los mantenedores suelen responder en 1 día
-
approved correction metadata
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
acl-org/acl-anthology#10663 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
freelawproject/juriscraper#2367 · 2 comentarios ·
Los mantenedores suelen responder en 1 día