Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Improve EPSS Importer and Getting EPSS history data

Đang mở
  • Có gì không ổn?
#2,435 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
backend, data

Hướng nghiên cứu

Start with the EPSS importer and the AdvisoryDataV2/VulnerabilitySeverity flow described here, then review PR #2433 and the historical daily dataset format. Define a bulk-import and time-series representation that avoids one advisory per CVE per day, and validate it against the stated multi-year history and import-time constraints.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

EPSS is currently represented as a VulnerabilitySeverity associated with an AdvisoryDataV2.

The importer creates one advisory for each CVE and stores the EPSS score and percentile as a vulnerability severity.

The current importer fetches the latest EPSS dataset for a single day, for example: epss_scores-2026-09-14.csv.gz, The pipeline then processes the entire dataset and creates a large number of advisory records. A single EPSS import currently takes approximately 3–12 hours.

This becomes a major problem when trying to import the complete EPSS history. The EPSS project provides historical daily datasets covering multiple years.

With approximately 2,190 daily files for roughly 6 years of history:

~365 days × 6 years = ~2,190 files
At an average of ~3 hours per import:
2,190 × 3 = 6,570 hours
6,570 / 24 = 273.75 days

Therefore, importing the complete history through the existing pipeline is not practical without implementing some form of bulk creation.
see:

There is also a second problem:

  • importing every historical file through the normal AdvisoryDataV2 workflow would generate a very large number of advisory records, even though EPSS is fundamentally time-series data where the score for a CVE changes over time.

I think we need a better way to handle EPSS data.

Ngôn ngữ chính
Python
Star
716
Fork
347
Merge trung bình
12 giờ 15 phút
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của aboutcode-org/vulnerablecode

Tất cả issue của aboutcode-org/vulnerablecode

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.