Can we make transformers work here?
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
まず、リンク先のTransformerアーキテクチャに関する記事と、issue #23および#26のコンテキストを読んでください。現在のサンプリングレートで二次の時間計算量とメモリ使用量を回避するアプローチを調査し、その後、実装アプローチを定義して、プロジェクトの時系列ユースケースにおけるSequence-to-Sequence性能の向上を実証してください。
索引モデルが issue の本文から書いたものです。
説明
Transformer architectures have revealed themselves to be the unquestionable state-of-the-art when it comes to sequence-to-sequence modelling architectures, and would be incredibly valuable to implement here. The issue in our use case is that the outer product in the self-attention mechanism makes the time and memory quadratic in the length of the timeseries. With our current sampling rate of 4096, that makes even a few seconds a very like timeseries in terms of number of steps (though in the context of #23 and #26 it's possible we don't need as many second as we're using now). However, the blog post linked to above outlines a couple a schemes in the literature for addressing this limitation. It's worth looking into what we might be able to adopt and seeing how that can improve things.
- 主要言語
- Python
- スター
- 10
- フォーク
- 6
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ML4GW/DeepClean のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
-
question research topic
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
-
enhancement
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
bug documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
ML4GW/DeepClean の issue をすべて見る
似ている issue
-
[Bug] @deck.gl/arcgis dist import resolves to unpublished @deck.gl/core source path (9.3.11, 9.4.0)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
workflow: a tick's dispatch counts as 'only this step', and no review self-grants a round unattendedオープンworkflow
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
kristofdegrave/homeassistant-smart-charging#1505 ·
メンテナーはふだん 1 日以内に返信
-
metadata submission
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
canonical/content-cache-operator#163 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[submission]オープンsubmission
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
leanprover/lean-eval-submissions#1852 ·
メンテナーはふだん 1 日以内に返信