Improve EPSS Importer and Getting EPSS history data
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 30/100
Piste de recherche
Start with the EPSS importer and the AdvisoryDataV2/VulnerabilitySeverity flow described here, then review PR #2433 and the historical daily dataset format. Define a bulk-import and time-series representation that avoids one advisory per CVE per day, and validate it against the stated multi-year history and import-time constraints.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
EPSS is currently represented as a VulnerabilitySeverity associated with an AdvisoryDataV2.
The importer creates one advisory for each CVE and stores the EPSS score and percentile as a vulnerability severity.
The current importer fetches the latest EPSS dataset for a single day, for example: epss_scores-2026-09-14.csv.gz, The pipeline then processes the entire dataset and creates a large number of advisory records. A single EPSS import currently takes approximately 3–12 hours.
This becomes a major problem when trying to import the complete EPSS history. The EPSS project provides historical daily datasets covering multiple years.
With approximately 2,190 daily files for roughly 6 years of history:
~365 days × 6 years = ~2,190 files
At an average of ~3 hours per import:
2,190 × 3 = 6,570 hours
6,570 / 24 = 273.75 days
Therefore, importing the complete history through the existing pipeline is not practical without implementing some form of bulk creation.
see:
There is also a second problem:
- importing every historical file through the normal AdvisoryDataV2 workflow would generate a very large number of advisory records, even though EPSS is fundamentally time-series data where the score for a CVE changes over time.
I think we need a better way to handle EPSS data.
- Langage dominant
- Python
- Étoiles
- 716
- Forks
- 347
- Merge moyen
- 13 h 47 min
- PR mergées (30 j)
- 8
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de aboutcode-org/vulnerablecode
-
OSV parser drops all crates.io affected entries because the ecosystem mapping uses cargoPeut-être pris @Ashutosh-Panda2004 l’a pris il y a 3 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
aboutcode-org/vulnerablecode#2485 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Docker Compose setup fails on wait-for-it host web:8000 and missing runtime .envPeut-être pris @Anurag-S1ngh l’a pris il y a 6 jours. Ouverte
Difficulté 2/5 Une demi-journée Accessibilité débutants 77/100
aboutcode-org/vulnerablecode#2477 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
OVAL parser corrupts version bounds when the epoch is 10, 20 or the version contains "0:"Peut-être pris @Ashutosh-Panda2004 l’a pris il y a 4 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
aboutcode-org/vulnerablecode#2474 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
aboutcode-org/vulnerablecode#2426 ·
Les mainteneurs répondent en général sous 1 jour
-
Get NuGet package versions from federated PURL version data in https://github.com/aboutcode-data/Peut-être à nouveau libre @Anshi321 l’a pris il y a 26 jours, et aucune pull request n’est ouverte. Ouvertebug data-quality
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
aboutcode-org/vulnerablecode#2418 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de aboutcode-org/vulnerablecode
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
vllm-project/vllm#64845 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
dekobon/big-code-analysis#1729 ·
Les mainteneurs répondent en général sous 1 jour
-
Add `openai_safety_identifier`, the replacement for the `user` field that `openai_user` sendsOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
pydantic/pydantic-ai#12091 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100