Improve speed of converting SQLite to FHIR
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python, sqlite
- Ambito
- databases, performance
Direzione di ricerca
Inizia esaminando il percorso di conversione semsql e le dimensioni risultanti di hpo.db rispetto a hpo.owl descritte nel report. Esegui il profiling sia della creazione di SQLite sia del caricamento a valle in OAK per determinare se il ritardo è causato dalle dimensioni del file, dalla struttura del database o da attività di parsing non necessarie; il lavoro è completato quando sono stati identificati il componente responsabile e un percorso di ottimizzazione concreto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Overview
I tried to convert HPO to FHIR using semsql as an intermediary. However, after about 40 minutes, I decided to give up and switch to Obographs for speed. I think it took about 10 minutes to convert to a .db, and the rest of the time in my process was just OAK trying to load the DB. Normally semsql is much faster to load than using rdflib, but not in this case. I looked and saw that my hpo.db was about 1GB, which is about 10x larger than my hpo.owl. I looked at some of my other conversions, and it looks like this 5-10x file size was normal.
If I'm correct that the issue is not so much OAK performance, but just the file size in general, is there anything we can do to reduce these file sizes? Or maybe it's not so much the size, but the structure that is taking OAK a long time to parse downstream? If this is more of an OAK issue (or both an OAK issue and a semsql issue), I can open up a ticket over there.
Potential causes
May be 1 or more of the following that's taking a lot of time.
a. Semsql: File size
b. Semsql: Non-optimal structures for downstream parsing
c. OAK: Not parsing optimally
d. OAK: Spending time doing things that are maybe not needed for my use case
- Lingua principale
- Python
- Stelle
- 70
- Fork
- 7
- Merge medio
- 4h 18m
- PR unite (30g)
- 1
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di INCATools/semantic-sql
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100
INCATools/semantic-sql#124 ·
-
Migrate direct raw-S3 bbop-sqlite consumers to the semanticsql CDNForse di nuovo libera @caufieldjh l’ha presa 90 giorni fa e non c’è nessuna pull request aperta. Apertahelp wanted
INCATools/semantic-sql#115 · 7 commenti · 1 assegnatario ·
-
[bot] Cut a semsql release including the semanticsql.berkeleybop.io defaultForse di nuovo libera @caufieldjh l’ha presa 90 giorni fa e non c’è nessuna pull request aperta. Apertaenhancement
INCATools/semantic-sql#114 · 2 commenti · 1 reazione · 1 assegnatario ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
INCATools/semantic-sql#111 · 1 commento ·
-
Integrate ENERO Foundry ontologies into Semantic-SQLForse già presa @cmungall l’ha presa 196 giorni fa. Apertaenhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
INCATools/semantic-sql#107 ·
Tutte le issue di INCATools/semantic-sql
Issue simili
-
enhancement from-review
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
khuisman/mcp-gee-sweet#1010 ·
I maintainer di solito rispondono entro 1 giorno
-
bug confirmed issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
open-webui/open-webui#32333 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ll7/robot_sf_ll7#10368 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
-
mcp: a write that loses its answer is reported as "cannot reach", although it may have landedAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
flop-labs/technocore-chat#982 ·
I maintainer di solito rispondono entro 1 giorno