Cannot get correct translation results (NLLB-200-distilled-600M)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- cpp
- Ambito
- machine-learning
Direzione di ricerca
Non sono identificati file del repository né test; inizia dalla riproduzione C++ fornita e rivedi la gestione dell’input del modello NLLB e dei token di output. Controlla l’input codificato, la configurazione del token della lingua, il prefisso di destinazione e il risultato decodificato, quindi confronta il comportamento e i tempi di esecuzione su CPU con l’uso documentato di C++ del progetto. Il lavoro è completato quando un esempio riproducibile produce una traduzione corretta alla velocità prevista.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hello, I am trying to use CTranslate2 to call the NLLB model, the program runs slowly and always returns rubbish results.
I compiled CTranslate2 and sentencepiece by Visual Studio 2022. Here are my codes:
#include <ctranslate2/translator.h>
#include <sentencepiece_processor.h>
#include <iostream>
#include <vector>
#include <string>
int main() {
std::string model_path = "F:/temp_work/LLM-models/nllb-200-distilled-600M-ct2-int8";
std::string sp_model_path = model_path + "/sentencepiece.bpe.model";
// Load the tokenize model
sentencepiece::SentencePieceProcessor processor;
const auto status = processor.Load(sp_model_path);
if (!status.ok()) {
std::cerr << status.ToString() << std::endl;
return -1;
}
// load the NLLB model
ctranslate2::Translator translator( model_path, ctranslate2::Device::CPU);
std::string input_text = u8"抽象代数重要的研究对象有:群、环和域。";
std::cout << input_text << std::endl;
// encode the string to token string
// You don't need to set what the language is.
std::vector<std::string> encoded_input_text;
processor.Encode(input_text, &encoded_input_text);
// encoded_input_text.insert(encoded_input_text.begin(), "zho_Hans");
//The input of the translation model should be a batch.
std::vector<std::vector <std::string>> input_batch = { encoded_input_text };
ctranslate2::TranslationOptions options;
options.max_decoding_length = 1024;
options.max_input_length = 512;
options.sampling_temperature = 0.7;
options.no_repeat_ngram_size = 0;
std::vector<std::vector<std::string>> target_prefix = { {"eng_Latn"} };
std::vector<ctranslate2::TranslationResult> results = translator.translate_batch(
input_batch,
target_prefix,
options);
std::vector<std::string> output = results[0].output();
std::string output_text;
processor.Decode(output, &output_text);
std::cout << "Translation: " << output_text << std::endl;
return 0;
}
- Lingua principale
- C++
- Stelle
- 4.8k
- Fork
- 557
- Merge medio
- 1g 6h
- PR unite (30g)
- 24
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenNMT/CTranslate2
-
MPS: GPT-2 produces NaN logits and invalid token IDsForse già presa @TBO22 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
OpenNMT/CTranslate2#2154 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Allow no-timestamp Whisper decoding beyond 224 tokensForse già presa @Emre-Akgul l’ha presa 127 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
OpenNMT/CTranslate2#2074 ·
I maintainer di solito rispondono entro 1 giorno
-
T5Gemma fails on MPS: incorrect beam expansion with padded batchesForse già presa @TBO22 l’ha presa oggi. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
OpenNMT/CTranslate2#2153 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 8/100
OpenNMT/CTranslate2#2152 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
OpenNMT/CTranslate2#2149 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di OpenNMT/CTranslate2
Issue simili
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorialsForse già presa @patelshivani2283-lab l’ha presa oggi. Aperta
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Niko1221/Strata#6071 · 2 commenti ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
KhronosGroup/Vulkan-Tutorial#551 ·
I maintainer di solito rispondono entro 1 giorno