where is the token_type_ids and attention_mas in tokenizer?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Documentazione
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Stack tecnologico
- android, csharp
- Ambito
- machine-learning, mobile-dev
Direzione di ricerca
Inizia con l’esempio BertTokenizer.EncodeToIds e la chiamata _session.Run(inputs) mostrati nell’issue. Determina come Microsoft.ML.Tokenizers rappresenta token_type_ids e le maschere di attenzione e come debba essere utilizzato il risultato di ONNX Runtime; il lavoro è completo quando l’utilizzo su Android è documentato con un flusso completo di domande e risposte.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am using android application 1.0
Microsoft.ML.Tokenizers and Microsoft.ML.OnnxRuntime
and I want to ask questions about my txt file.
I searched that I can use BertTokenizer and onnxruntime
tokenizer = BertTokenizer.Create(vocabPath, new BertOptions { RemoveNonSpacingMarks = true });
var encodings = tokenizer.EncodeToIds("This is a sample");
there is EncodeToIds and how to get token_type_ids ?
and when I get result _session.Run(inputs); what to do then?
- Lingua principale
- C#
- Stelle
- 212
- Fork
- 36
- Merge medio
- 2h 20m
- PR unite (30g)
- 2
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/Tokenizer
-
deepseek support?Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
Tutte le issue di microsoft/Tokenizer
Issue simili
-
[誤判定] `define` が `デフィね`・`デフィ値` になるForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta再現済み 要トリアージ 誤判定
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
yksr-melt/Meltype#421 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
Facepunch/sbox-public#12063 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
facioquo/stock-indicators-dotnet#2316 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ionide/FsAutoComplete#1559 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
lostindark/DriverStoreExplorer#477 ·
I maintainer di solito rispondono entro 1 giorno