Port GLiNER2.5 (fastino/gliner2.5-multi-v1) zero-shot NER to vllm.cpp
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- cpp
- Lĩnh vực
- api, backend-api-design, machine-learning
Hướng nghiên cứu
Bắt đầu với .agents/specs/gliner2.5.md và đối chiếu các thành phần encoder DeBERTa v2 và pooler GLiNER2 bắt buộc với oracle tham chiếu của vllm-factory. Sau đó, lần theo việc đăng ký model, hoạt động serving tương thích với OpenAI và backend LocalAI; được xem là hoàn tất khi phạm vi CPU, CUDA, ROCm, serving và đăng ký được liệt kê đã được hỗ trợ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Port the GLiNER2.5 model (DeBERTa v2 encoder + disentangled attention + GLiNER2 pooler head) into vllm.cpp as the first encoder-only (BERT-class) model. vLLM has no DeBERTa support; the vllm-factory plugin (ddickmann/vllm-factory) is the reference oracle.
Scope: DeBERTa v2 encoder, GLiNER2 pooler head (SpanRep, CountLSTM, classifier), model registration, OpenAI-compatible serving, CPU + GPU (CUDA + ROCm) support, LocalAI backend.
Local issue: ISSUE-LOCAL-01M2TMQF230HKCX03RW6ADCVCT
Row: MODEL-GLINER25
Spec: .agents/specs/gliner2.5.md
- Ngôn ngữ chính
- C++
- Star
- 423
- Fork
- 53
- Merge trung bình
- 1 ngày 5 giờ
- Pull request đã merge (30 ngày)
- 376
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của mudler/vllm.cpp
-
[Windows] full build fails in tools/bench/conv1d_scaling_probe.cpp (POSIX-only sys/resource.h)Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của mudler/vllm.cpp
Issue tương tự
-
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 84/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
ROCm/rocm-libraries#12703 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
isl-org/Open3D#7585 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Feature request
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
qbittorrent/qBittorrent#24975 ·
Maintainer thường phản hồi trong vòng 3 ngày