JUST-OS ideas
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Pouca atividade
- Domínio
- machine-learning, search
Direção de pesquisa
A issue combina quatro direções distintas: recuperação adaptativa top-k, comparação com um modelo moderno de 8B, comparação com o pipeline OpenScholar e um benchmark de especialistas curado. Comece localizando os pontos de entrada de recuperação e avaliação do JUST-OS; em seguida, escolha uma direção e defina suas entradas de benchmark e critérios de sucesso. O trabalho estará concluído quando houver um experimento ou uma implementação com escopo definido e resultados documentados.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- Linguagem predominante
- HTML
- Estrelas
- 42
- Forks
- 33
- Merge médio
- 16h 3min
- PRs com merge (30d)
- 121
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de forrtproject/forrtproject.github.io
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100
forrtproject/forrtproject.github.io#1035 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
forrtproject/forrtproject.github.io#987 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
forrtproject/forrtproject.github.io#977 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100
forrtproject/forrtproject.github.io#947 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
forrtproject/forrtproject.github.io#933 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
Todas as issues de forrtproject/forrtproject.github.io
Issues semelhantes
-
bug good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
Selectus2/trainers-rb#29 ·
-
training
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
tinaudio/synth-setter#3758 ·
Mantenedores costumam responder em até 1 dia
-
bot-triaged module: correctness (silent) module: data module: error checking triage review
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 71/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
vllm-project/vllm-ascend#21392 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
Mantenedores costumam responder em até 2 dias