minecode-pipelines: update pipelines to save api calls as well as purls
@JonoYang ci sta già lavorando.
Dal 16/3/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
issues with miners and saving metadata
crates.io
- the index is organizied by some hashing thing, and the package data is stored in json lines
- how should we store the upstream metadata in the aboutcode-data repos? should we store the json line entry or recreate the directory structure of the index?
maven
- not certain if the parser we use for parsing the maven index gives us all the fields of pom data
- updating the web crawler should be easy enough as it gets the pom files directly
npm
- the code only looks up the index for the package name and versions and reports those. it does not get the package data proper. the code would need to be updated to have an option to get and store the package data
nuget
- all package data is stored in a single index file, do we save individual index files for each package version we get?
pypi
- update code to dump jsons for individual packages
alpine
- should we save the info of the package individually or just save the apkindex for all packages
composer
- update
get_composer_purlto save package data alongside purl
- Lingua principale
- HTML
- Stelle
- 70
- Fork
- 75
- Merge medio
- 3g 15h
- PR unite (30g)
- 4
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di aboutcode-org/purldb
-
purlcli failsForse già presa @Anurag-S1ngh l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
aboutcode-org/purldb#891 · 2 commenti ·
-
Incorrect set comparison between package names and PURLs in NPM sync logicForse già presa @MuhammadBilal64 l’ha presa 32 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
aboutcode-org/purldb#890 · 1 commento ·
-
PypiVersionAPI.get_latest_date() crashes when a release entry is missing upload_time_iso_8601Forse già presa @drawliin l’ha presa 215 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
aboutcode-org/purldb#863 ·
-
Add doctest and tests for clearcode coordinate helpersForse già presa @drawliin l’ha presa 223 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
aboutcode-org/purldb#861 ·
-
Preserve version ordering in packagedb VersionResponseForse già presa @drawliin l’ha presa 223 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
aboutcode-org/purldb#857 ·