minecode-pipelines: update pipelines to save api calls as well as purls

オープン
  • 何か問題がありますか？
#845 コメント 1 件 リアクション 0 件 担当者 1 名 GitHub で見る

@JonoYang がすでに取り組んでいます。

2026年3月16日 から。

評価

この issue はまだ評価されていません。

説明

issues with miners and saving metadata

crates.io

  • the index is organizied by some hashing thing, and the package data is stored in json lines
    • how should we store the upstream metadata in the aboutcode-data repos? should we store the json line entry or recreate the directory structure of the index?

maven

  • not certain if the parser we use for parsing the maven index gives us all the fields of pom data
  • updating the web crawler should be easy enough as it gets the pom files directly

npm

  • the code only looks up the index for the package name and versions and reports those. it does not get the package data proper. the code would need to be updated to have an option to get and store the package data

nuget

  • all package data is stored in a single index file, do we save individual index files for each package version we get?

pypi

  • update code to dump jsons for individual packages

alpine

  • should we save the info of the package individually or just save the apkindex for all packages

composer

  • update get_composer_purl to save package data alongside purl
主要言語
HTML
スター
70
フォーク
75
平均マージ
3日 15時間
マージ済み PR（30日）
4

環境構築

  • Dockerfile または Docker Compose ファイルあり
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

aboutcode-org/purldb のほかの issue

aboutcode-org/purldb の issue をすべて見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。