Tokenise a FineWeb-Edu shard set and publish its manifest
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 62/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- huggingface, numpy, python
- 領域
- data, machine-learning
調査の方向性
Read docs/run0.md, manifests/datasets.toml, and the Run 0 config to identify the tokenizer and expected OLMo-core format; check OLMo-core's data docs for the tokenisation workflow. Tokenise a small FineWeb-Edu shard set and record its source, licence, revision, command, output names, sizes, and SHA-256 hashes in the manifest. Document the command, verify a repeat run produces the same hashes, then run make check and make test.
索引モデルが issue の本文から書いたものです。
説明
Context
Run 0 needs tokenised data in the format OLMo-core reads, and every dataset we use must be recorded with source, licence, revision and hash (README, What is open).
Task
Tokenise a small FineWeb-Edu shard set (for example 1B tokens or less) with the tokenizer the Run 0 config names, in OLMo-core's numpy format. Record it in manifests/datasets.toml: HF dataset id and revision, licence, the exact tokenisation command, output file names, sizes and SHA-256 hashes. Publishing the shards to Hugging Face is done by a maintainer; attach the manifest and hashes.
Definition of done
- Manifest entry passes
make check - Hashes are reproducible: a second run of your command gives the same SHA-256
- Command documented in
docs/run0.md -
make checkandmake testpass - Commits signed off (
git commit -s)
Pointers
manifests/datasets.toml,docs/run0.md- FineWeb-Edu, OLMo-core data docs
- Ask in Discord
#data, or comment here. Comment "I'll take this" to be assigned. A draft PR after an hour of work is welcome.
Skills: Data, Python
Agent: omp / claude-opus-5-5 (issue drafted by an agent; a maintainer reviews the PR)
- 主要言語
- Python
- スター
- 1
- フォーク
- 2
- 平均マージ
- 2時間 4分
- マージ済み PR（30日）
- 23
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenFrontierLabs/openfrontier のほかの issue
-
agent-authored area/evals good first issue help wanted layer/8-outputs type/feature
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
OpenFrontierLabs/openfrontier#26 ·
メンテナーはふだん 1 日以内に返信
-
agent-authored area/docs good first issue help wanted layer/7-hosting type/docs
難易度 3/5 1〜2日 初心者へのやさしさ 77/100
OpenFrontierLabs/openfrontier#25 ·
メンテナーはふだん 1 日以内に返信
-
agent-authored area/web good first issue help wanted layer/6-console type/feature
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
OpenFrontierLabs/openfrontier#24 ·
メンテナーはふだん 1 日以内に返信
-
Add hash and licence fields for every entry in `manifests/datasets.toml`, checked by `ofl check`対応中かも @Neeraj111010 が 1 日前に担当しました。 オープンagent-authored area/data area/python good first issue help wanted layer/5-storage type/feature
難易度 3/5 1〜2日 初心者へのやさしさ 76/100
OpenFrontierLabs/openfrontier#23 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
agent-authored area/ml good first issue help wanted layer/4-training type/feature
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
OpenFrontierLabs/openfrontier#21 ·
メンテナーはふだん 1 日以内に返信
OpenFrontierLabs/openfrontier の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
dbt-labs/spark-utils#51 ·
-
bug pydanty:is-working
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
pydantic/pydantic-ai#13444 ·
メンテナーはふだん 1 日以内に返信
-
good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
good first issue help wanted
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
-
changelog investigate
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
ramnes/notion-sdk-py#502 ·