Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Implement the unified activations interpretation API for similar models

オープン
  • 何か問題がありますか？
#5 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
20/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
python, pytorch, scikit-learn
領域
ai, machine-learning

調査の方向性

まず NeuroX のコードベースと Captum を確認し、次に、言及されている BERT、RoBERTa、encoder、encoder-decoder モデルがどのように扱われているかを比較します。実装前に、統一された解釈の範囲とモデルの境界を定義してください。完了時には、選択した HuggingFace モデル全体で一貫した API が提供される必要があります。

索引モデルが issue の本文から書いたものです。

説明

difficulty: scalable, can be both 170 and 340 hours
mentor: @oserikov , TBD
requirements:

  1. pytorch
  2. sklearn
  3. python engineering code, OOP, etc.
  4. experience with Transformer Language models

useful links:

  • NeuroX codebase
  • Bert re-invents the classical NLP pipeline
  • Captum

Idea Description:

While HuggingFace quickly became the standard way to publish language models, several architectural trade-offs have been made to support the quick growth of the models' zoo. This resulted in several theoretically similar models being implemented by different teams, thus e.g. several alternative implementations of self-attentive transformers arose. While refactoring the whole zoo of models seems to be far from the accessible task, the interpretability community is forced to provide unification wrappers for handling such dissimilarities in similar models. The task is to provide a reasonable trade-off with the refactoring of the crucial models and providing the unified wrappers, and thus bring the unified interpretability API to the crucial HuggingFace models.

We could see this task from two prospects. First, one could unify the interpretability API of the sibling models such as BERT and RoBERTa . Second, one could think about bringing the unified interface to interpret and compare encoder models with e.g. encoder-decoder ones, allowing to study the similarities and distinctiveness in their behavior.

Coding Challenge

WIP

主要言語
言語のデータがありません
スター
1
フォーク
1
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

bigscience-workshop/interpretability-ideas のほかの issue

bigscience-workshop/interpretability-ideas の issue をすべて見る

似ている issue

AI Infra & Agents の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。