microsoft/LLMLingua
Xem trên GitHub[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.
- Star
- 6.7k
- Fork
- 428
- Issue cho người mới đang mở
- 0
- Issue đã lập chỉ mục
- 101
- Merge trung bình
- 2 ngày 4 giờ
- Pull request đã merge (30 ngày)
- 1
- Ngôn ngữ chính
- Python
- Giấy phép
- MIT
- Lần push lên GitHub gần nhất
- 10/9/2026
- Lập chỉ mục gần nhất
- 19/9/2026
- Hướng dẫn đóng góp
- Không có hướng dẫn đóng góp
- Quy tắc ứng xử
- Quy tắc ứng xử
- Label cho người mới
- Chưa lập chỉ mục label nào cho người mới
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 42/100
-
[Bug]: When calling slingua through PromptCompressor, use_llmlingua2 should also be set to true. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 55/100
-
question
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 20/100
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
question
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
question
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
-
question
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
-
question
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
question
-
feature
microsoft/LLMLingua#220 · 2 bình luận · 1 reaction · 1 người được giao ·
-
question
-
请问可以使用qwen系列模型吗？或者有提供支持模型的列表吗？ Đang mởquestion
-
question
-
question
-
question
-
question
-
bug question
microsoft/LLMLingua#210 · 4 bình luận · 1 reaction · 1 người được giao ·
-
question
-
question
-
question
-
bug
-
bug
-
question
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100
-
question
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
[Question]: 在生成摘要的任务，是如何进行压缩的？ Đang mởquestion
-
question
-
[Bug]: ZeroDivisionError: float division by zero upon using compress_json with `use_llmlingua2` Đang mởbug
-
bug
-
bug
-
bug
-
question
-
question
-
question
-
question
-
question
-
question
-
[Bug]: NotImplementedError Đang mởbug
-
question
-
question
-
question
-
question
-
[Feature Request]: How to improve the accuracy of compressor for large SFT models through training Đang mởfeature request
-
[Question]: Reproducing the score of official microsoft/llmlingua-2-xlm-roberta-large-meetingbank Đang mởquestion
-
question
-
[Bug]: 返回中文会出现乱码 Đang mởbug
-
feature request
-
Meaningless tokens generation Đang mởquestion
-
question
-
question