`fastBPE` fix path

オープン

#86 2022年11月1日に作成コメント 0 件リアクション 2 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 1/5
見積もり時間: 1時間未満
初心者へのやさしさ: 35/100

issue の種類: バグ
明瞭さ: 明確に書かれている
活発さ: 停滞
技術スタック: python
領域: data

調査の方向性

codegen_sources/preprocessing/bpe_modes/fast_bpe_mode.py から始め、FAST パスと install_env.sh で指定されている fastBPE の場所を比較します。生成されるコマンドが codegen_sources/model/tools/fastBPE/fast を使用し、報告されている failed-to-learn-BPE アサーションを発生させなくなっていることを確認します。

索引モデルが issue の本文から書いたものです。

説明

I against assertion AssertionError: failed to learn bpe on /media/Z/dungnm31/transcoder/cpp-java-python.monolingual.tok.shuf.50gb, command: /home/dungnm/CodeGen/fastBPE/fast learnbpe 50000 /media/Z/dungnm31/transcoder/cpp-java-python.monolingual.tok.shuf.50gb > /media/Z/dungnm31/transcoder/cpp-java-python.monolingual.codes

It turn out the command itself was not right. The fastBPE path will be located at "codegen_sources/model/tools/fastBPE/fast" according to install_env.sh instead of "fastBPE/fast"

Suggest file codegen_sources/preprocessing/bpe_modes/fast_bpe_mode.py change

FAST = str(Path(__file__).parents[3].joinpath("fastBPE/fast"))

FAST = str(Path(__file__).parents[3].joinpath("codegen_sources/model/tools/fastBPE/fast"))

主要言語: Python
スター: 777
フォーク: 144
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

facebookresearch/CodeGen のほかの issue

IR Decompilation model オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

facebookresearch/CodeGen#109 · 2025年7月15日に作成
Hash function オープン

難易度 3/5 1〜2日初心者へのやさしさ 42/100

facebookresearch/CodeGen#108 · 2024年6月26日に作成
Dataset issues オープン

難易度 3/5 1〜2日初心者へのやさしさ 45/100

facebookresearch/CodeGen#107 · 2024年6月26日に作成
The lack of paralled dataset in Transcoder-IR オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

facebookresearch/CodeGen#106 · 2023年9月18日に作成
Error : ModuleNotFoundError: No module named 'packaging' #793 オープン

難易度 3/5 1〜2日初心者へのやさしさ 35/100

facebookresearch/CodeGen#105 · 2023年7月16日に作成

facebookresearch/CodeGen の issue をすべて見る

似ている issue

docs: update workflows.md for slide deck Node test discovery オープン

agent-ready documentation needs-triage

難易度 1/5 1〜3時間初心者へのやさしさ 88/100

microsoft/hve-core#3012 · 2026年9月25日に作成
config_keys.rst says every result file PyBNF writes is alphabetical, but the credible-interval files and start_point.txt use declaration order オープン

documentation

難易度 1/5 1時間未満初心者へのやさしさ 91/100

lanl/PyBNF#932 · 2026年9月25日に作成
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン

難易度 1/5 1時間未満初心者へのやさしさ 92/100

LearningCircuit/local-deep-research#6804 · 2026年9月24日に作成
Add https://search.jeremyh.xyz/ オープン

instance instance add

難易度 1/5 1時間未満初心者へのやさしさ 72/100

searxng/searx-instances#939 · コメント 1 件 · 2026年9月24日に作成
Azure Sandboxes: Small and ExtraSmall tiers always fail to deploy (disk request exceeds tier maximum) オープン

area-deployment area-integrations triage:bot-seen

難易度 2/5 半日初心者へのやさしさ 86/100

microsoft/aspire#20459 · コメント 1 件 · 2026年9月24日に作成

Python の issue をもっと見る