Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Baseline ladder results + error analysis (RESULTS v0)

Đã đóng
  • Có gì không ổn?
#73 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tài liệu
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
machine-learning
Lĩnh vực
data, documentation, machine-learning

Hướng nghiên cứu

Start by reviewing the linked design doc and drafts, then inspect the existing evaluation entry points for the rules and listed Gemma and Qwen model rungs after dependencies #69, #71, and #72 are complete. Run the zero-shot and few-shot ladder with grammar on and off, read at least 50 dev-set failures, and commit docs/RESULTS.md plus results/*.json containing the required metrics, taxonomy, examples, and fine-tuning go/no-go note.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:ml type:eval

Part of the JobTrail v2 rebuild · design doc · all drafts · draft #12

Depends on: #69, #71, #72

Scope

  • Run: rules; Gemma 3 270M, Qwen3-0.6B, ~1B, ~2B general models (zero-shot and few-shot, grammar on/off); cloud ceiling.

  • Error analysis on dev set: read ≥ 50 failures, build a failure taxonomy (Hamel-style open coding → categories with counts).

  • docs/RESULTS.md v0 + results/*.json.

Acceptance criteria

  • Table: per-field metrics, zero-edit rate, validity, hallucination, $/note for every rung.

  • Failure taxonomy with ≥ 5 categories and example IDs.

  • Explicit go/no-go note on the fine-tuning hypothesis given baseline gaps.

Definition of done (all issues)

Definition of done (every issue):

  • Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).

  • needs-device issues: benchmark JSON + short screen recording from the named device committed under evidence/<issue#>/.

  • No claim in README/docs that isn't backed by a committed artifact.

  • CI green.

Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.

Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.

Ngôn ngữ chính
Python
Star
0
Fork
0
Merge trung bình
14 giờ 46 phút
Pull request đã merge (30 ngày)
21

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Taleef7/JobTrail

Tất cả issue của Taleef7/JobTrail

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.