Add manifest file for scraping contents of the ouput bucket
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 42/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering
Direzione di ricerca
Inizia leggendo probe_scraper/runner.py intorno alle righe 397-409 e segui il modo in cui viene pubblicato il contenuto del bucket di output. Determina la forma JSON prevista per un manifest che contenga ogni nome di file disponibile. Il lavoro è completo quando l'output pubblicato include un manifest completo che uno scraper separato può usare per attraversare il bucket.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Since all the content is available publicly, we should make a list of all the files available directly so we can traverse through all the files. We can simply keep track of all the files and stick this into a manifest file (a json document containing all of the file names).
One use case of a manifest is to create a repository that scrapes the output of the probe-scraper to generate a revision of changes, to see the history of changes over time.
- Lingua principale
- Python
- Stelle
- 27
- Fork
- 74
- Merge medio
- 5g 2h
- PR unite (30g)
- 12
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di mozilla/probe-scraper
-
enhancement good-first-bug help wanted priority:4
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
mozilla/probe-scraper#13 · 12 commenti ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100
mozilla/probe-scraper#1078 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
mozilla/probe-scraper#1074 · 2 commenti ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100
mozilla/probe-scraper#1068 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
mozilla/probe-scraper#1039 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di mozilla/probe-scraper
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
FinanceFlash/unvibecode#509 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
FAIRmat-NFDI/nomad-distro-dev#161 ·
-
bug v2
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
modelcontextprotocol/python-sdk#3821 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug severity:low
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
Log-odds calibration uses upper middle score instead of median for even candidate setsForse già presa @flysheep-ai l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno