Cannot get correct translation results (NLLB-200-distilled-600M)
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- cpp
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Không xác định được tệp nào trong repository hoặc bài kiểm thử nào; hãy bắt đầu với bản tái hiện C++ được cung cấp và xem xét cách xử lý đầu vào của mô hình NLLB và các token đầu ra. Kiểm tra đầu vào đã mã hóa, thiết lập token ngôn ngữ, tiền tố đích và kết quả đã giải mã, sau đó so sánh hành vi và thời gian chạy trên CPU với cách sử dụng C++ được ghi lại của dự án. Được xem là hoàn tất khi một ví dụ có thể tái hiện tạo ra bản dịch chính xác ở tốc độ mong đợi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello, I am trying to use CTranslate2 to call the NLLB model, the program runs slowly and always returns rubbish results.
I compiled CTranslate2 and sentencepiece by Visual Studio 2022. Here are my codes:
#include <ctranslate2/translator.h>
#include <sentencepiece_processor.h>
#include <iostream>
#include <vector>
#include <string>
int main() {
std::string model_path = "F:/temp_work/LLM-models/nllb-200-distilled-600M-ct2-int8";
std::string sp_model_path = model_path + "/sentencepiece.bpe.model";
// Load the tokenize model
sentencepiece::SentencePieceProcessor processor;
const auto status = processor.Load(sp_model_path);
if (!status.ok()) {
std::cerr << status.ToString() << std::endl;
return -1;
}
// load the NLLB model
ctranslate2::Translator translator( model_path, ctranslate2::Device::CPU);
std::string input_text = u8"抽象代数重要的研究对象有:群、环和域。";
std::cout << input_text << std::endl;
// encode the string to token string
// You don't need to set what the language is.
std::vector<std::string> encoded_input_text;
processor.Encode(input_text, &encoded_input_text);
// encoded_input_text.insert(encoded_input_text.begin(), "zho_Hans");
//The input of the translation model should be a batch.
std::vector<std::vector <std::string>> input_batch = { encoded_input_text };
ctranslate2::TranslationOptions options;
options.max_decoding_length = 1024;
options.max_input_length = 512;
options.sampling_temperature = 0.7;
options.no_repeat_ngram_size = 0;
std::vector<std::vector<std::string>> target_prefix = { {"eng_Latn"} };
std::vector<ctranslate2::TranslationResult> results = translator.translate_batch(
input_batch,
target_prefix,
options);
std::vector<std::string> output = results[0].output();
std::string output_text;
processor.Decode(output, &output_text);
std::cout << "Translation: " << output_text << std::endl;
return 0;
}
- Ngôn ngữ chính
- C++
- Star
- 4.8k
- Fork
- 557
- Merge trung bình
- 1 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 24
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenNMT/CTranslate2
-
MPS: GPT-2 produces NaN logits and invalid token IDsCó thể đã có người làm @TBO22 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
OpenNMT/CTranslate2#2154 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Allow no-timestamp Whisper decoding beyond 224 tokensCó thể đã có người làm @Emre-Akgul đã nhận 127 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
OpenNMT/CTranslate2#2074 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
T5Gemma fails on MPS: incorrect beam expansion with padded batchesCó thể đã có người làm @TBO22 đã nhận hôm nay. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
OpenNMT/CTranslate2#2153 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
OpenNMT/CTranslate2#2152 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
OpenNMT/CTranslate2#2149 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của OpenNMT/CTranslate2
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
grizzlypeak3d/DJV#962 ·
-
cognizant-backlog
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 61/100
KhronosGroup/OpenCL-CTS#2882 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorialsCó thể đã có người làm @patelshivani2283-lab đã nhận hôm nay. Đang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
LunarG/gfxreconstruct#3440 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày