JUST-OS ideas
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
調査の方向性
この issue では、適応型 top-k 検索、最新の 8B モデルとの比較、OpenScholar パイプラインとの比較、そして厳選した専門家ベンチマークという、4 つの別々の方向性を扱います。まず JUST-OS の検索および評価のエントリーポイントを見つけ、次に 1 つの方向性を選んで、そのベンチマーク入力と成功基準を定義してください。完了条件は、結果を文書化した、範囲を限定した 1 つの実験または実装です。
索引モデルが issue の本文から書いたものです。
説明
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- 主要言語
- HTML
- スター
- 42
- フォーク
- 33
- 平均マージ
- 17時間 18分
- マージ済み PR（30日）
- 111
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
forrtproject/forrtproject.github.io のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
forrtproject/forrtproject.github.io#1035 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
forrtproject/forrtproject.github.io#987 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
forrtproject/forrtproject.github.io#977 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
forrtproject/forrtproject.github.io#947 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
forrtproject/forrtproject.github.io#933 ·
メンテナーはふだん 1 日以内に返信
forrtproject/forrtproject.github.io の issue をすべて見る
似ている issue
-
[Bug]: DoubleMLRDDData accepts a score_col that is no data column (as in its docstring example); the running variable then becomes a covariate and RDFlex fails対応中かも @vrjdev が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
DoubleML/doubleml-for-py#455 ·
メンテナーはふだん 1 日以内に返信
-
Install page: spectarf's CUDA engine fails with PyTorch for CUDA 13.0 (nvvmError: ERROR_INVALID_IR)対応中かも @lukepolson が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
PyTomography/PyTomography#435 ·
メンテナーはふだん 1 日以内に返信
-
beginner friendly
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
aws-samples/sample-per-model-bedrock#821 ·
メンテナーはふだん 1 日以内に返信
-
Strain created without dtype promotes the conservative+stress path to float64 under jax_enable_x64オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100