How to predict a specific length of tokens?

Đang mở Phù hợp với người mới

#1,975 mở ngày 19/3/2025 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 2/5
Thời gian dự kiến: 1-3 giờ
Mức phù hợp với người mới: 65/100

Loại issue: Tài liệu
Độ rõ ràng: Đặc tả rõ ràng
Mức độ hoạt động: Đình trệ
Công nghệ: python
Lĩnh vực: api, documentation

Hướng nghiên cứu

Xem mã nguồn llama-cpp-python của các phương thức generate hoặc call và kiểm tra cách các tham số được truyền đến thư viện llama.cpp bên dưới. Kiểm tra xem đã có tham số cho max_tokens hoặc n_predict hay chưa; nếu chưa có, hãy xem cách thêm binding cho tùy chọn --n-predict. Tài liệu cần được cập nhật trong phần tương ứng của tài liệu tham khảo API.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

In llama.cpp, --n-predict option is used to set the number of tokens to predict when generating text/

I don't find the binding for that in doc.

Ngôn ngữ chính: Python
Star: 10.6k
Fork: 1.5k
Merge trung bình: 6 giờ 43 phút
Pull request đã merge (30 ngày): 2

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

abetlen/llama-cpp-python#2371 · Mở ngày 22/9/2026
uv add llama-cpp-python wheels fails for versions above 0.3.30 Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

abetlen/llama-cpp-python#2352 · Mở ngày 31/7/2026
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

abetlen/llama-cpp-python#2211 · 2 bình luận · Mở ngày 9/5/2026
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusingly Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

abetlen/llama-cpp-python#2210 · Mở ngày 9/5/2026
Improve error messages Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

abetlen/llama-cpp-python#2145 · Mở ngày 22/3/2026

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Use `charmlibs.interfaces.oauth` instead of deprecated `hydra.oauth` Đang mở

enhancement

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

canonical/paas-charm#368 · 1 bình luận · Mở ngày 23/9/2026
Model API: distributable field returns false even when "Allow Distributed Inference Across Workers" is checked Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

gpustack/gpustack#6275 · Mở ngày 23/9/2026
attachment_urls parameter descriptions do not state that the value must be a reference Đang mở

tech debt

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

epam/ai-dial-quickapps-backend#579 · Mở ngày 23/9/2026
addition to tracking list Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100

StevenBlack/hosts#3256 · Mở ngày 23/9/2026
Fix-WebUI-README-screenshot-links Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100

qualcomm/qai-appbuilder#275 · Mở ngày 23/9/2026

Thêm issue về Python