Cannot get correct translation results (NLLB-200-distilled-600M)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- cpp
調査の方向性
リポジトリのファイルやテストは特定されていないため、提供された C++ の再現コードから始め、NLLB モデルの入力と出力トークンの処理を確認します。エンコードされた入力、言語トークンの設定、ターゲットプレフィックス、デコードされた結果を確認し、その後、CPU での動作と実行時間をプロジェクトに記載された C++ の使用方法と比較します。再現可能な例で、期待される速度で正しい翻訳が生成されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hello, I am trying to use CTranslate2 to call the NLLB model, the program runs slowly and always returns rubbish results.
I compiled CTranslate2 and sentencepiece by Visual Studio 2022. Here are my codes:
#include <ctranslate2/translator.h>
#include <sentencepiece_processor.h>
#include <iostream>
#include <vector>
#include <string>
int main() {
std::string model_path = "F:/temp_work/LLM-models/nllb-200-distilled-600M-ct2-int8";
std::string sp_model_path = model_path + "/sentencepiece.bpe.model";
// Load the tokenize model
sentencepiece::SentencePieceProcessor processor;
const auto status = processor.Load(sp_model_path);
if (!status.ok()) {
std::cerr << status.ToString() << std::endl;
return -1;
}
// load the NLLB model
ctranslate2::Translator translator( model_path, ctranslate2::Device::CPU);
std::string input_text = u8"抽象代数重要的研究对象有:群、环和域。";
std::cout << input_text << std::endl;
// encode the string to token string
// You don't need to set what the language is.
std::vector<std::string> encoded_input_text;
processor.Encode(input_text, &encoded_input_text);
// encoded_input_text.insert(encoded_input_text.begin(), "zho_Hans");
//The input of the translation model should be a batch.
std::vector<std::vector <std::string>> input_batch = { encoded_input_text };
ctranslate2::TranslationOptions options;
options.max_decoding_length = 1024;
options.max_input_length = 512;
options.sampling_temperature = 0.7;
options.no_repeat_ngram_size = 0;
std::vector<std::vector<std::string>> target_prefix = { {"eng_Latn"} };
std::vector<ctranslate2::TranslationResult> results = translator.translate_batch(
input_batch,
target_prefix,
options);
std::vector<std::string> output = results[0].output();
std::string output_text;
processor.Decode(output, &output_text);
std::cout << "Translation: " << output_text << std::endl;
return 0;
}
- 主要言語
- C++
- スター
- 4.8k
- フォーク
- 557
- 平均マージ
- 1日 6時間
- マージ済み PR(30日)
- 24
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenNMT/CTranslate2 のほかの issue
-
MPS: GPT-2 produces NaN logits and invalid token IDs対応中かも @TBO22 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
OpenNMT/CTranslate2#2154 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Allow no-timestamp Whisper decoding beyond 224 tokens対応中かも @Emre-Akgul が 127 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
OpenNMT/CTranslate2#2074 ·
メンテナーはふだん 1 日以内に返信
-
T5Gemma fails on MPS: incorrect beam expansion with padded batches対応中かも @TBO22 が今日担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
OpenNMT/CTranslate2#2153 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 8/100
OpenNMT/CTranslate2#2152 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
OpenNMT/CTranslate2#2149 ·
メンテナーはふだん 1 日以内に返信
OpenNMT/CTranslate2 の issue をすべて見る
似ている issue
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorials対応中かも @patelshivani2283-lab が今日担当しました。 オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Niko1221/Strata#6071 · コメント 2 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
KhronosGroup/Vulkan-Tutorial#551 ·
メンテナーはふだん 1 日以内に返信