tokenizer for triton inference server
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 20/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
首先检查仓库中记录的 tokenizer API 和示例，然后将其与 issue 中提到的 Python AutoTokenizer 用法以及 all-MiniLM-L6-v2 模型进行比较。确认该模型和 Triton inference-server 工作流是否受支持，或记录缺失的兼容性要求，即视为完成。
由索引模型根据 Issue 内容生成。
描述
hi,
Can this be used with triton inference server for huggingface setfit (https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2)?
here is what i currently do with python:
from transformers import AutoTokenizer
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
Thanks,
Gerald
- 主要语言
- C++
- 星标
- 512
- 派生
- 132
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
mlc-ai/tokenizers-cpp 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 68/100
mlc-ai/tokenizers-cpp#96 · 1 个 reaction ·
-
难度 2/5 1-3 小时 新手友好度 62/100
mlc-ai/tokenizers-cpp#88 · 2 个 reaction ·
-
难度 3/5 1-2 天 新手友好度 55/100
mlc-ai/tokenizers-cpp#95 ·
-
难度 3/5 1-2 天 新手友好度 35/100
mlc-ai/tokenizers-cpp#94 ·
-
难度 4/5 3-5 天 新手友好度 35/100
mlc-ai/tokenizers-cpp#91 ·
查看 mlc-ai/tokenizers-cpp 的全部 Issue
相似的 Issue
-
bug
难度 1/5 1-3 小时 新手友好度 88/100
维护者通常 2 天内回复
-
Unconfirmed bug
难度 1/5 1 小时以内 新手友好度 88/100
luanti-org/luanti#17605 · 1 条评论 ·
维护者通常 2 天内回复
-
area: config area: firmware priority: P2 - medium size: S type: bug
难度 2/5 1-3 小时 新手友好度 76/100
Mizithra/ActiveTerrain#16 ·
-
难度 2/5 1-3 小时 新手友好度 84/100
grumpycoders/pcsx-redux#2171 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 2 天内回复