JUST-OS ideas
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- Calme
- Domaine
- machine-learning, search
Piste de recherche
L’issue regroupe quatre axes distincts : la récupération top-k adaptative, la comparaison avec un modèle moderne de 8B, la comparaison avec le pipeline OpenScholar et un benchmark d’experts élaboré. Commencez par localiser les points d’entrée de récupération et d’évaluation de JUST-OS, puis choisissez un axe et définissez ses entrées de benchmark et ses critères de réussite. Le travail sera considéré comme terminé lorsqu’il consistera en une expérience ou une implémentation ciblée avec des résultats documentés.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- Langage dominant
- HTML
- Étoiles
- 42
- Forks
- 33
- Merge moyen
- 16 h 3 min
- PR mergées (30 j)
- 121
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de forrtproject/forrtproject.github.io
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
forrtproject/forrtproject.github.io#1035 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
forrtproject/forrtproject.github.io#987 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
forrtproject/forrtproject.github.io#977 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
forrtproject/forrtproject.github.io#947 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
forrtproject/forrtproject.github.io#933 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de forrtproject/forrtproject.github.io
Issues similaires
-
training
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
tinaudio/synth-setter#3758 ·
Les mainteneurs répondent en général sous 1 jour
-
bot-triaged module: correctness (silent) module: data module: error checking triage review
Difficulté 2/5 1-3 heures Accessibilité débutants 71/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
vllm-project/vllm-ascend#21392 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour