Perplexity for quantized models
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- huggingface, python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu tại điểm vào .compute() của metric perplexity và kiểm tra các tham số được ghi trong tài liệu dựa trên ví dụ về mô hình lượng tử hóa trong issue. Công việc được xem là hoàn tất khi đã làm rõ những đối số nào được hỗ trợ cho các mô hình lượng tử hóa và đã ghi lại cách sử dụng đúng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi, If I intend to compute the perplexity for a quantized model, what parameters should I pass to the .compute() function?
For example,
perplexity = load("perplexity", module_type="metric")
good_result = perplexity.compute(predictions=SENTENCES,model_id=MODEL_NAME,add_start_token=False)
Much thx!
- Ngôn ngữ chính
- Python
- Star
- 2.5k
- Fork
- 359
- Merge trung bình
- 48 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationCó thể đã có người làm @reginaldalfret đã nhận 4 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
huggingface/evaluate#836 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsCó thể đã có người làm @ktz03 đã nhận 16 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
huggingface/evaluate#825 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residueCó thể đã có người làm @MahendraMula đã nhận 33 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
huggingface/evaluate#822 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Perplexity metric fails with GPT-2 tokenizerCó thể đã có người làm @zanvari đã nhận 130 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
huggingface/evaluate#766 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
False/misleading instruction to use different checkpoints of BLEURTCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 62/100
huggingface/evaluate#679 · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của huggingface/evaluate
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
521xueweihan/HelloGitHub#4115 ·
-
get_lldp_neighbors_detail: query asks for 'max-address' (typo for 'mac-address'), so remote_chassis_id is always emptyCó thể đã có người làm @Jah-yee đã nhận hôm nay. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
-
lesson-submission pending-review
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 74/100
Ikalus1988/MisakaNet#3899 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
aws-samples/sample-per-model-bedrock#549 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100