Improve speed of converting SQLite to FHIR
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python, sqlite
- 领域
- databases, performance
调研方向
首先检查报告中描述的 semsql 转换路径，以及生成的 hpo.db 与 hpo.owl 的大小。对 SQLite 创建过程和后续的 OAK 加载过程进行性能分析，以确定延迟是由文件大小、数据库结构还是不必要的解析工作造成的；完成的标准是确定责任组件和一条具体的优化路径。
由索引模型根据 Issue 内容生成。
描述
Overview
I tried to convert HPO to FHIR using semsql as an intermediary. However, after about 40 minutes, I decided to give up and switch to Obographs for speed. I think it took about 10 minutes to convert to a .db, and the rest of the time in my process was just OAK trying to load the DB. Normally semsql is much faster to load than using rdflib, but not in this case. I looked and saw that my hpo.db was about 1GB, which is about 10x larger than my hpo.owl. I looked at some of my other conversions, and it looks like this 5-10x file size was normal.
If I'm correct that the issue is not so much OAK performance, but just the file size in general, is there anything we can do to reduce these file sizes? Or maybe it's not so much the size, but the structure that is taking OAK a long time to parse downstream? If this is more of an OAK issue (or both an OAK issue and a semsql issue), I can open up a ticket over there.
Potential causes
May be 1 or more of the following that's taking a lot of time.
a. Semsql: File size
b. Semsql: Non-optimal structures for downstream parsing
c. OAK: Not parsing optimally
d. OAK: Spending time doing things that are maybe not needed for my use case
- 主要语言
- Python
- 星标
- 70
- 派生
- 7
- 平均合并
- 4 小时 18 分钟
- 30 天内合并 PR
- 1
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
INCATools/semantic-sql 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 52/100
INCATools/semantic-sql#124 ·
-
Migrate direct raw-S3 bbop-sqlite consumers to the semanticsql CDN可能重新可做 @caufieldjh 于 91 天前认领，目前没有进行中的 PR。 未关闭help wanted
INCATools/semantic-sql#115 · 7 条评论 · 已指派 1 人 ·
-
[bot] Cut a semsql release including the semanticsql.berkeleybop.io default可能重新可做 @caufieldjh 于 91 天前认领，目前没有进行中的 PR。 未关闭enhancement
INCATools/semantic-sql#114 · 2 条评论 · 1 个 reaction · 已指派 1 人 ·
-
enhancement
难度 5/5 一周以上 新手友好度 35/100
INCATools/semantic-sql#111 · 1 条评论 ·
-
Integrate ENERO Foundry ontologies into Semantic-SQL可能已有人在做 @cmungall 于 197 天前认领。 未关闭enhancement
难度 4/5 3-5 天 新手友好度 48/100
INCATools/semantic-sql#107 ·
查看 INCATools/semantic-sql 的全部 Issue
相似的 Issue
-
难度 1/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 85/100
tharje/spooler-v2#20 ·
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
Bump version of azure-servicebus可能已有人在做 @joostlek 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
home-assistant/core#186275 ·
维护者通常 1 天内回复
-
documentation
难度 1/5 1 小时以内 新手友好度 72/100