Create Dataset with metadata
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
ファイルやテストは指定されていません。完了した抽出手順と現在のデータセット出力を確認することから始め、残りのチェックリスト項目に取り組みます。必要に応じて空行とエラー列を整理し、必要であればメタデータを収集して、完成したデータセットをHubにpushします。
索引モデルが issue の本文から書いたものです。
説明
Steps:
- pseudo crawl ~10% of C4 web page from Common Crawl @tianjianjiang
- import pseudo crawled dataset on JZ @SaulLu
- run 1st step of extraction:
- Extract text, HTML head sections, HTML footer sections, HTML Titles section and HTML metadata @SaulLu
- Change format of URL @SaulLu
- Extract Timestamp @cccntu @SaulLu
- Extract Generation Length Sentence @chkla @SaulLu
- Extract Generation Length Text @chkla @SaulLu
- Extract Data source @chkla @SaulLu
- run 2nd step of extraction:
- Extract Website descriptions @shanyas10 @SaulLu
- run 3rd step of extraction:
- Extract Entities @manandey @SaulLu
- (option) Extract Entities descriptions @manandey @SaulLu
- run 4th step of extraction:
- Extract Paragraph @tianjianjiang @SaulLu
- #114
- #125
- annotator (preprocessor) of the metadata
- Modify entities metadata with paragraph information @manandey @SaulLu
- Modify generation length with paragraph information @chkla @SaulLu
- Extract Paragraph @tianjianjiang @SaulLu
- (optional) clean final dataset:
- Remove empty lines @SaulLu
- Remove "errors" columns @SaulLu
- (optional) Gather all metadata into same column @cccntu @timoschick @SaulLu
- push dataset to Hub @SaulLu
- 主要言語
- Python
- スター
- 29
- フォーク
- 11
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
bigscience-workshop/metadata のほかの issue
-
Common simple eval function to calculate ppl再び着手できるかも @shanyas10 が 1687 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
bigscience-workshop/metadata#138 · 担当者 1 名 ·
-
multi gpu training再び着手できるかも @changjonathanc が 1720 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
bigscience-workshop/metadata#129 · 担当者 1 名 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
bigscience-workshop/metadata#122 ·
-
Which HTML tags should be used during training?再び着手できるかも @SaulLu が 1751 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
bigscience-workshop/metadata#113 · 担当者 1 名 ·
-
slurm script test multi-gpu training再び着手できるかも @SaulLu が 1723 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
bigscience-workshop/metadata#109 · 担当者 3 名 ·
bigscience-workshop/metadata の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 85/100
pytest-dev/pluggy#757 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1〜3時間 初心者へのやさしさ 85/100
NousResearch/hermes-agent#134960 ·
メンテナーはふだん 1 日以内に返信
-
HTML backend: `<br>` leaks the internal sentinel U+E000 into list items, headings and captions対応中かも @morten-lagabote が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
docling-project/docling#4671 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
good first issue hacktoberfest infra
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信