Ability to reuse the same `dp.Profiler` object for different data
@taylorfturner ci sta già lavorando.
Dal 28/4/2022.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Is your feature request related to a problem? Please describe.
We are evaluating DataProfiler as a possible way to label data in our pipeline.
We need to be able to profile many small samples of data at a high frequency. As things stand now, it appears that we need to create a new dp.Profiler object for each such sample. That creation takes several seconds (apparently due to TensorFlow loading) and is therefore not scalable.
At the same time, the update_profile method only adds data to the data previously submitted to the Profiler. So if we use the same Profiler object with the update_profile method the data inside of it keeps growing.
What we would need is a replace_data functionality: basically, make the Profiler forget the data it was given previously and instead receive new data.
Describe the outcome you'd like:
Ability to use reuse the same dp.Profiler object on different data samples and avoid the time costly initialization.
Additional context:
- Lingua principale
- Python
- Stelle
- 1.6k
- Fork
- 194
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di capitalone/DataProfiler
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 77/100
capitalone/DataProfiler#1235 ·
-
pyarrow-23.0.1-cp310-cp310-manylinux_2_28_x86_64.whl: 1 vulnerabilities (highest severity is: 8.1)ApertaMend: dependency security vulnerability
Difficoltà 3/5 1-2 giorni Idoneità per principianti 50/100
capitalone/DataProfiler#1233 ·
-
Mend: dependency security vulnerability
Difficoltà 2/5 1-3 ore Idoneità per principianti 54/100
capitalone/DataProfiler#1232 ·
-
Mend: dependency security vulnerability
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
capitalone/DataProfiler#1230 ·
-
evaluate_accuracy: macro-average rescale drops predicted-but-absent labels, so false positives on them do not lower the returned F1Forse già presa @PerryLink l’ha presa 24 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 78/100
capitalone/DataProfiler#1229 ·
Tutte le issue di capitalone/DataProfiler
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
elviskahoro/sdk-python-attio#144 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
RenyiELBO raises TypeError when model has no sample sitesForse già presa @alibb007 l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: Four evaluation scripts unpack init_memmachine_params's five return values into three namesAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
MemMachine/MemMachine#1911 ·
I maintainer di solito rispondono entro 3 giorni