catalog check --per-skill: load skill bodies one at a time, not all up front
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Refactoring
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- backend, performance
Direzione di ricerca
Start with the named entry points: dokimi/commands/catalog_scan.py, dokimi/external/catalog_review.py, and dokimi/external/catalog.py; trace where each skill body is loaded and when its row is produced. Keep cross-catalog checks on their existing path. Done means peak RSS stays roughly flat as generated catalog size grows, while JSONL and --resume output remains unchanged.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
PR #414 (corpus mode for catalog check --per-skill, merged as d5bd732b) loads every skill's SKILL.md body before the first JSONL row is written, so memory still grows with the catalog. The module docstring and docs/external-content.md say so, and the code matches. Three review threads on #414 raised it. The author chose to keep eager loading for now and correct the docstrings:
PRRT_kwDOVBg7g860YhgX:dokimi/commands/catalog_scan.py:70. JSONL mode retains every skill body before its first row.PRRT_kwDOVBg7g860Zrl8:dokimi/external/catalog_review.py:38.review_skill_dirloads and retains every descendant body before discarding all but its own.PRRT_kwDOVBg7g860dqt3:dokimi/external/catalog.py:113and:231.read_skill_manifestloads every body before the first row.
Proposal: read a skill's body when its row is produced, so peak memory is per skill, not per catalog. This covers the manifest read, the filesystem scan (_scan_skill_files), review_skill_dir and the per-skill loop. Cross-catalog checks need all skills together and keep their current path.
Done when a run over N generated skills keeps peak RSS flat as N grows, and the JSONL and --resume output is unchanged.
- Lingua principale
- Python
- Stelle
- 11
- Fork
- 9
- Merge medio
- 1g 11h
- PR unite (30g)
- 349
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di intel/dokimi
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
I maintainer di solito rispondono entro 1 giorno
-
arms: significance and interval from one sign-flip test (D018 for eval/stats.py)Forse già presa @antonwolfy l’ha presa 1 giorno fa. Apertaenhancement
intel/dokimi#421 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di intel/dokimi
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug] vllm-sr config migrate drops providers.models[].deploymentForse già presa @Bevisy l’ha presa oggi. Apertaneeds-acceptance wg/developer-experience-ecosystem
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
vllm-project/semantic-router#5996 ·
I maintainer di solito rispondono entro 2 giorni
-
bugfix low-priority plugin:abstract plugin:leyline small-effort source:discussion
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
athola/claude-night-market#1132 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
WeblateOrg/language-data#2773 ·
I maintainer di solito rispondono entro 1 giorno
-
[yugabyted] xcluster set_up and add_to_replication fail for database names containing - . or (Apertakind/bug priority/medium qa_automation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
yugabyte/yugabyte-db#37324 ·
I maintainer di solito rispondono entro 1 giorno