tokenizer for triton inference server
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、リポジトリに記載されている tokenizer API と例を確認し、Issue で名前が挙げられている Python AutoTokenizer の使用方法および all-MiniLM-L6-v2 モデルと比較します。このモデルと Triton inference-server のワークフローがサポートされているかを確認するか、不足している互換性要件を文書化できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
hi,
Can this be used with triton inference server for huggingface setfit (https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2)?
here is what i currently do with python:
from transformers import AutoTokenizer
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
Thanks,
Gerald
- 主要言語
- C++
- スター
- 512
- フォーク
- 132
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mlc-ai/tokenizers-cpp のほかの issue
-
Missing Cargo.lockオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
mlc-ai/tokenizers-cpp#96 · リアクション 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
mlc-ai/tokenizers-cpp#88 · リアクション 2 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
mlc-ai/tokenizers-cpp#95 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
mlc-ai/tokenizers-cpp#94 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
mlc-ai/tokenizers-cpp#91 ·
mlc-ai/tokenizers-cpp の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
grumpycoders/pcsx-redux#2171 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
bytedance/trae-agent#524 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
AcademySoftwareFoundation/openexr#2683 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
microsoft/onnxruntime#32881 ·
メンテナーはふだん 1 日以内に返信