JUST-OS ideas
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Ruhig
- Bereich
- machine-learning, search
Rechercherichtung
Das Issue umfasst vier separate Richtungen: adaptives Top-k-Retrieval, Vergleich mit einem modernen 8B-Modell, Vergleich mit der OpenScholar-Pipeline und ein kuratierter Experten-Benchmark. Beginne damit, die Einstiegsstellen für Retrieval und Evaluation von JUST-OS zu finden, wähle dann eine Richtung aus und definiere deren Benchmark-Eingaben und Erfolgskriterien. Als abgeschlossen gilt ein abgegrenztes Experiment oder eine abgegrenzte Implementierung mit dokumentierten Ergebnissen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- Vorherrschende Sprache
- HTML
- Sterne
- 42
- Forks
- 33
- Ø Merge
- 16 Std. 3 Min.
- Gemergte PRs (30 T.)
- 121
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus forrtproject/forrtproject.github.io
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
forrtproject/forrtproject.github.io#1035 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
forrtproject/forrtproject.github.io#987 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
forrtproject/forrtproject.github.io#977 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
forrtproject/forrtproject.github.io#947 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
forrtproject/forrtproject.github.io#933 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in forrtproject/forrtproject.github.io
Ähnliche Issues
-
training
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
tinaudio/synth-setter#3758 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bot-triaged module: correctness (silent) module: data module: error checking triage review
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 71/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
vllm-project/vllm-ascend#21392 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag