JUST-OS ideas
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Lĩnh vực
- machine-learning, search
Hướng nghiên cứu
Issue này kết hợp bốn hướng riêng biệt: truy xuất top-k thích ứng, so sánh với một mô hình 8B hiện đại, so sánh với pipeline OpenScholar và một benchmark chuyên gia được tuyển chọn. Hãy bắt đầu bằng cách xác định các entry point cho truy xuất và đánh giá của JUST-OS, sau đó chọn một hướng và xác định các đầu vào benchmark cùng tiêu chí thành công của hướng đó. Hoàn thành nghĩa là có một thử nghiệm hoặc một triển khai với phạm vi rõ ràng và kết quả được ghi lại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)
- Ngôn ngữ chính
- HTML
- Star
- 42
- Fork
- 33
- Merge trung bình
- 17 giờ 18 phút
- Pull request đã merge (30 ngày)
- 111
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của forrtproject/forrtproject.github.io
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
forrtproject/forrtproject.github.io#1035 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
forrtproject/forrtproject.github.io#987 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
forrtproject/forrtproject.github.io#977 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
forrtproject/forrtproject.github.io#947 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
forrtproject/forrtproject.github.io#933 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của forrtproject/forrtproject.github.io
Issue tương tự
-
[Bug]: DoubleMLRDDData accepts a score_col that is no data column (as in its docstring example); the running variable then becomes a covariate and RDFlex failsCó thể đã có người làm @vrjdev đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
DoubleML/doubleml-for-py#455 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Install page: spectarf's CUDA engine fails with PyTorch for CUDA 13.0 (nvvmError: ERROR_INVALID_IR)Có thể đã có người làm @lukepolson đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
PyTomography/PyTomography#435 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
beginner friendly
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
aws-samples/sample-per-model-bedrock#821 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Strain created without dtype promotes the conservative+stress path to float64 under jax_enable_x64Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100