Connect data filtering, visualization, PII pipeline into datastore

Abierto

#262 abierto el 24/11/2021 0 comentarios 0 reacciones 5 asignados Ver en GitHub

@HugoLaurencon ya está trabajando en esto.

Desde el 24/11/2021.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

PII tooling

Datastore is an extension of datasets that interoprates with sqlite and memmap. The reason I created it was because I wanted a low resource way to do data processing on datasets. Arrow can be cumbersome for things like update. And we get the power of SQL and full text search. Note that the full text search is not a service that requires a server, but rather based on sqlite itself and not as flexible as the indexsearch @ggdupont is working on.

However, it would be cool to connect the ac_dc filtering and PII pipeline to datastore so we can do things like

load dataset X
ac/dc filter
PII process
full text index in sqlite
run through distiluse and memmap vector to memmap column
and visualize a subset based on perpleixty param, registry param and full text search

This is not an immediate need, but it would provide a low compute, low resource (no servers needed) tool that will promote equal access to language tech to different researchers around the world.

Lenguaje dominante: HTML
Estrellas: 91
Forks: 47
Métricas de merge de PR: Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

Lee el issue completo y luego la guía de contribución del proyecto.
Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
Haz un fork del repositorio y trabaja en una rama.
Abre un pull request que haga referencia al número del issue.

Más de bigscience-workshop/data_tooling

Create dataset the_hill_newspaper_and_digital_media Abierto

data catalog

Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100

bigscience-workshop/data_tooling#346 · Abierto el 19/1/2022
Create dataset freelancer_market_place_website Abierto

data catalog

Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100

bigscience-workshop/data_tooling#334 · Abierto el 19/1/2022
Create dataset bhaskar Abierto

data catalog

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

bigscience-workshop/data_tooling#244 · Abierto el 23/11/2021
Create dataset mediapart Abierto

data catalog

Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100

bigscience-workshop/data_tooling#170 · Abierto el 23/11/2021
Create dataset goierna_magazine Abierto

data catalog

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

bigscience-workshop/data_tooling#167 · Abierto el 23/11/2021

Todos los issues de bigscience-workshop/data_tooling