microsoft/batch-inference
GitHub で見るDynamic batching library for Deep Learning inference. Tutorials for LLM, GPT scenarios.
- スター
- 106
- フォーク
- 6
- オープンの初心者向け issue
- 0
- 索引済み issue
- 1
- 平均マージ
- 12時間 12分
- マージ済み PR(30日)
- 1
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
microsoft/batch-inference#14 ·