JUST-OS ideas
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Ruhig
- Bereich
- machine-learning, search
Rechercherichtung
Das Issue umfasst vier separate Richtungen: adaptives Top-k-Retrieval, Vergleich mit einem modernen 8B-Modell, Vergleich mit der OpenScholar-Pipeline und ein kuratierter Experten-Benchmark. Beginne damit, die Einstiegsstellen für Retrieval und Evaluation von JUST-OS zu finden, wähle dann eine Richtung aus und definiere deren Benchmark-Eingaben und Erfolgskriterien. Als abgeschlossen gilt ein abgegrenztes Experiment oder eine abgegrenzte Implementierung mit dokumentierten Ergebnissen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- Vorherrschende Sprache
- HTML
- Sterne
- 42
- Forks
- 33
- Ø Merge
- 17 Std. 18 Min.
- Gemergte PRs (30 T.)
- 111
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus forrtproject/forrtproject.github.io
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
forrtproject/forrtproject.github.io#1035 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
forrtproject/forrtproject.github.io#987 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
forrtproject/forrtproject.github.io#977 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
forrtproject/forrtproject.github.io#947 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
forrtproject/forrtproject.github.io#933 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in forrtproject/forrtproject.github.io
Ähnliche Issues
-
[Bug]: DoubleMLRDDData accepts a score_col that is no data column (as in its docstring example); the running variable then becomes a covariate and RDFlex failsEvtl. vergeben @vrjdev hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
DoubleML/doubleml-for-py#455 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Install page: spectarf's CUDA engine fails with PyTorch for CUDA 13.0 (nvvmError: ERROR_INVALID_IR)Evtl. vergeben @lukepolson hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 79/100
PyTomography/PyTomography#435 ·
Maintainer antworten meist innerhalb von 1 Tag
-
beginner friendly
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 82/100
aws-samples/sample-per-model-bedrock#821 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
instadeepai/InstaNovo-FM#50 ·