Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Improve speed of converting SQLite to FHIR

Đang mở
  • Có gì không ổn?
#64 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, sqlite
Lĩnh vực
databases, performance

Hướng nghiên cứu

Bắt đầu bằng cách kiểm tra quy trình chuyển đổi semsql và kích thước của hpo.db so với hpo.owl sau khi tạo, như được mô tả trong báo cáo. Profile cả quá trình tạo SQLite và quá trình tải tiếp theo vào OAK để xác định liệu độ trễ có phải do kích thước tệp, cấu trúc cơ sở dữ liệu hay công việc parsing không cần thiết gây ra hay không; công việc được xem là hoàn tất khi đã xác định được thành phần chịu trách nhiệm và một hướng tối ưu hóa cụ thể.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Overview

I tried to convert HPO to FHIR using semsql as an intermediary. However, after about 40 minutes, I decided to give up and switch to Obographs for speed. I think it took about 10 minutes to convert to a .db, and the rest of the time in my process was just OAK trying to load the DB. Normally semsql is much faster to load than using rdflib, but not in this case. I looked and saw that my hpo.db was about 1GB, which is about 10x larger than my hpo.owl. I looked at some of my other conversions, and it looks like this 5-10x file size was normal.

If I'm correct that the issue is not so much OAK performance, but just the file size in general, is there anything we can do to reduce these file sizes? Or maybe it's not so much the size, but the structure that is taking OAK a long time to parse downstream? If this is more of an OAK issue (or both an OAK issue and a semsql issue), I can open up a ticket over there.

Potential causes

May be 1 or more of the following that's taking a lot of time.
a. Semsql: File size
b. Semsql: Non-optimal structures for downstream parsing
c. OAK: Not parsing optimally
d. OAK: Spending time doing things that are maybe not needed for my use case

Ngôn ngữ chính
Python
Star
70
Fork
7
Merge trung bình
4 giờ 18 phút
Pull request đã merge (30 ngày)
1

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của INCATools/semantic-sql

Tất cả issue của INCATools/semantic-sql

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.