Improve PoC collection using GitHub archive data
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 43/100
Piste de recherche
Aucun fichier ni test spécifique n’est indiqué dans l’issue. Commencez par localiser le pipeline actuel de collecte de PoC qui s’alimente de nomi-sec/PoC-in-GitHub, ainsi que le workflow CI qui l’exécute. Examinez comment les PoC sont découverts, stockés et validés, puis concevez un chemin d’ingestion parallèle utilisant les données de giant-hourly-archive et la couche de confiance proposée. La tâche sera terminée lorsque le collector utilisera la nouvelle source de manière reproductible, avec une sortie de validation claire qui améliore la fiabilité des résultats et peut être vérifiée par les contrôles existants du pipeline.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
We are currently collecting PoCs primarily from this repository:
From my understanding, this repository is generated by an automated bot.
There is another project doing something very similar:
The general approach seems to be running a CI job that uses the GitHub API to search for repositories containing CVE IDs and then collecting the results.
However, I think we could use a cleaner and potentially more reliable approach for collecting PoCs.
Instead of repeatedly querying the GitHub API for every CVE ID, we could use the GitHub hourly archive data:
- https://github.com/giant-hourly-archive/giant-hourly-archive-2011
- ...
- https://github.com/giant-hourly-archive/giant-hourly-archive-2026
The idea would be to process the archive data locally and search for CVE IDs across newly indexed GitHub content. This could significantly reduce the number of GitHub API requests and give us a more reproducible dataset.
We could then add an extra validation layer to determine whether a discovered repository is actually a valid PoC/Exploit repository. For example, this could involve:
- Manual review by contributors for higher-confidence results.
- An LLM-based validation step that reads the repository metadata/content and determines whether it actually contains a PoC or exploit related to the identified CVE.
- Potentially combining both approaches to assign a confidence level to each result.
As a proof of concept, I’ve tested this approach with:
- Langage dominant
- Python
- Étoiles
- 716
- Forks
- 347
- Merge moyen
- 12 h 15 min
- PR mergées (30 j)
- 9
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de aboutcode-org/vulnerablecode
-
OSV parser drops all crates.io affected entries because the ecosystem mapping uses cargoPeut-être pris @Ashutosh-Panda2004 l’a pris il y a 2 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
aboutcode-org/vulnerablecode#2485 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Docker Compose setup fails on wait-for-it host web:8000 and missing runtime .envPeut-être pris @Anurag-S1ngh l’a pris il y a 6 jours. Ouverte
Difficulté 2/5 Une demi-journée Accessibilité débutants 77/100
aboutcode-org/vulnerablecode#2477 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
OVAL parser corrupts version bounds when the epoch is 10, 20 or the version contains "0:"Peut-être pris @Ashutosh-Panda2004 l’a pris il y a 4 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
aboutcode-org/vulnerablecode#2474 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
aboutcode-org/vulnerablecode#2426 ·
Les mainteneurs répondent en général sous 1 jour
-
Get NuGet package versions from federated PURL version data in https://github.com/aboutcode-data/Peut-être à nouveau libre @Anshi321 l’a pris il y a 25 jours, et aucune pull request n’est ouverte. Ouvertebug data-quality
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
aboutcode-org/vulnerablecode#2418 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de aboutcode-org/vulnerablecode
Issues similaires
-
Admin member of a research group cannot see the HX2 allocation until they've been added to itOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
Les mainteneurs répondent en général sous 2 jours
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
developmentseed/titiler-cmr#278 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 2 jours