Suggestion to speed up initial JSON import
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- sqlite, typescript
- Lĩnh vực
- databases
Hướng nghiên cứu
Issue không nêu tên tệp, kiểm thử hoặc điểm vào nào. Hãy bắt đầu bằng cách tái hiện một lần nhập JSON trong ScanCode Workbench 3.0.0b2 trên Ubuntu và quan sát mức tăng kích thước của tệp SQLite, sau đó so sánh hành vi tăng dần hiện tại với cách nhập được đề xuất chỉ sử dụng bộ nhớ; công việc được xem là hoàn tất khi đo được tốc độ nhập được cải thiện và đầu ra cơ sở dữ liệu được giữ nguyên.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
When I import a JSON file, I noted that the sqlite DB file seems to be flushed on disk incrementally and I can see the sqlite file grow as the import goes.
I have an idea: if you import to a memory only database and once this is all imported and only then you save on disk this may speed things up? this may be worth a try
System configuration
Operating System:
Linux Ubuntu 16.04 x86_64
ScanCode Workbench Version:
3.0.0b2
- Ngôn ngữ chính
- TypeScript
- Star
- 174
- Fork
- 81
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của aboutcode-org/scancode-workbench
-
reference scancode.io in README prominentlyCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
Độ khó 2/5 Dưới một giờ Mức phù hợp với người mới 35/100
aboutcode-org/scancode-workbench#639 · 4 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100
aboutcode-org/scancode-workbench#635 · 4 bình luận ·
-
good first issue
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
aboutcode-org/scancode-workbench#634 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
aboutcode-org/scancode-workbench#632 · 5 bình luận · 1 reaction ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của aboutcode-org/scancode-workbench
Issue tương tự
-
b:minor bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
software-mansion/argent#1698 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
e2e-failure ready-to-code
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
redhat-developer/rhdh-plugin-export-overlays#4624 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
better-auth/better-auth#12132 · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
automation missing-model model-sync provider:tinfoil
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
anomalyco/models.dev#12053 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
o8 next debug build aborts on Glass to Dark appearance switch (nil identifier messaged before check)Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
hurttlocker/o8#5112 ·