Improve PoC collection using GitHub archive data
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 43/100
Rechercherichtung
Im Issue werden keine spezifischen Dateien oder Tests genannt. Finde zunächst die aktuelle PoC-Sammelpipeline, die Daten aus nomi-sec/PoC-in-GitHub bezieht, sowie den CI-Workflow, der sie ausführt. Untersuche, wie PoCs entdeckt, gespeichert und validiert werden, und entwirf dann einen parallelen Ingest-Pfad mit giant-hourly-archive-Daten und der vorgeschlagenen Confidence-Schicht. Als abgeschlossen gilt die Aufgabe, wenn der Collector die neue Quelle reproduzierbar verwendet und eine klare Validierungsausgabe liefert, die die Zuverlässigkeit der Ergebnisse verbessert und durch bestehende Pipeline-Prüfungen verifiziert werden kann.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
We are currently collecting PoCs primarily from this repository:
From my understanding, this repository is generated by an automated bot.
There is another project doing something very similar:
The general approach seems to be running a CI job that uses the GitHub API to search for repositories containing CVE IDs and then collecting the results.
However, I think we could use a cleaner and potentially more reliable approach for collecting PoCs.
Instead of repeatedly querying the GitHub API for every CVE ID, we could use the GitHub hourly archive data:
- https://github.com/giant-hourly-archive/giant-hourly-archive-2011
- ...
- https://github.com/giant-hourly-archive/giant-hourly-archive-2026
The idea would be to process the archive data locally and search for CVE IDs across newly indexed GitHub content. This could significantly reduce the number of GitHub API requests and give us a more reproducible dataset.
We could then add an extra validation layer to determine whether a discovered repository is actually a valid PoC/Exploit repository. For example, this could involve:
- Manual review by contributors for higher-confidence results.
- An LLM-based validation step that reads the repository metadata/content and determines whether it actually contains a PoC or exploit related to the identified CVE.
- Potentially combining both approaches to assign a confidence level to each result.
As a proof of concept, I’ve tested this approach with:
- Vorherrschende Sprache
- Python
- Sterne
- 716
- Forks
- 347
- Ø Merge
- 12 Std. 15 Min.
- Gemergte PRs (30 T.)
- 9
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus aboutcode-org/vulnerablecode
-
OSV parser drops all crates.io affected entries because the ecosystem mapping uses cargoEvtl. vergeben @Ashutosh-Panda2004 hat das vor 2 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
aboutcode-org/vulnerablecode#2485 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Docker Compose setup fails on wait-for-it host web:8000 and missing runtime .envEvtl. vergeben @Anurag-S1ngh hat das vor 5 Tagen übernommen. Offen
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 77/100
aboutcode-org/vulnerablecode#2477 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
OVAL parser corrupts version bounds when the epoch is 10, 20 or the version contains "0:"Evtl. vergeben @Ashutosh-Panda2004 hat das vor 3 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
aboutcode-org/vulnerablecode#2474 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
aboutcode-org/vulnerablecode#2426 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Get NuGet package versions from federated PURL version data in https://github.com/aboutcode-data/Evtl. wieder frei @Anshi321 hat das vor 25 Tagen übernommen, und es ist kein Pull Request offen. Offenbug data-quality
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
aboutcode-org/vulnerablecode#2418 · 4 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in aboutcode-org/vulnerablecode
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
Validate finite output clamping limits in StepPredictor.prepare_clamping_params to prevent silent NaN/Inf propagationEvtl. vergeben @muskan-creates352 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
mllam/neural-lam#848 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
infra
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
fab-geocommuns/RNB-coeur#1166 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
deepspeedai/DeepSpeed#8951 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
aws/context-ontology-accelerator#343 ·
Maintainer antworten meist innerhalb von 1 Tag