Finish implementation of MLC_ENABLE_SENTENCEPIECE_TOKENIZER
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 45/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- cmake, cpp
- 領域
- build-system
調査の方向性
CMakeLists.txt の186行目付近から始め、MLC_ENABLE_SENTENCEPIECE_TOKENIZER が SentencePiece への参照をどのように制御しているかを追跡します。オプションを OFF にした状態で CMake の構成を検証し、ライブラリのリンクを含めて SentencePiece が完全にスキップされることを確認します。この issue では実行するテストは指定されていません。
索引モデルが issue の本文から書いたものです。
説明
There is a cmake option called MLC_ENABLE_SENTENCEPIECE_TOKENIZER but as today, when OFF, it does nt totally disable/skip sentencepiece, eg that line still links with the sentpiece lib:
https://github.com/mlc-ai/tokenizers-cpp/blob/f77710965a3bcae85b7a00bdddbfc1adadef0e32/CMakeLists.txt#L186
Would you mind if I add some small retouches to really fully disable sentpiece when that option is OFF?
Best regards
WT
- 主要言語
- C++
- スター
- 514
- フォーク
- 132
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mlc-ai/tokenizers-cpp のほかの issue
-
Missing Cargo.lockオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
mlc-ai/tokenizers-cpp#96 · コメント 1 件 · リアクション 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
mlc-ai/tokenizers-cpp#88 · リアクション 2 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
mlc-ai/tokenizers-cpp#95 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
mlc-ai/tokenizers-cpp#94 · リアクション 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
mlc-ai/tokenizers-cpp#91 ·
mlc-ai/tokenizers-cpp の issue をすべて見る
似ている issue
-
enhancement GUI maintainer-review
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
aethersdr/AetherSDR#6681 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
Bug
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
area: ui bug good first issue P2: medium value: medium
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
patrick-hudson/put.gd-desktop#366 ·
メンテナーはふだん 1 日以内に返信