Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Integrate existing tools: Captum, LIT, AllenNLP Interpret, NeuroX into the HF pipeline

オープン
  • 何か問題がありますか？
#3 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
20/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
python, pytorch, scikit-learn
領域
ai, machine-learning

調査の方向性

Captum、AllenNLP Interpret、NeuroX のリンクと task 1 の Coding Challenge から始めます。HF-compatible aggregation API を定義する前に、記載されているメンターと選択するメソッドについて話し合います。完了の条件は、選択したメソッド、all-in-one の interpret メソッド、BigScience checkpoint の初期分析、およびさらなるメソッドをサポートできるコードが揃っていることです。

索引モデルが issue の本文から書いたものです。

説明

duration: scalable, can be both 175 and 350 hours
mentor: @oserikov
difficulty: medium
requirements:

  1. pytorch
  2. sklearn
  3. python engineering code, with OOP and patterns
  4. experience with Transformer Language models

useful links:

Idea Description:

There exist lots of interpretability tools, both for Industry and Academia users.
While some of them are general-purpose, and the others are very field-specific, all of them have several things in common.
One would typically apply them to HuggingFace models. All of these methods try to explain the black-boxes we have.

What we propose is, shortly, to put together the existing popular models interpretation stack. We've made a survey of interpretability for LLMs and now have both scientific and engineering vision of what we should implement in order to maximize the interpretability of the existing LLMs.

You need to implement the HF-compatible interpretability aggregation API. The exact tasks to accomplish are:

  1. choose the most important methods provided by Captum, Interpret and NeuroX (which ones? to better understand the task, try to figure it out yourself. having done this, reach out to us ASAP and we will discuss your vision)
  2. implement the all-in-one interpret method to run all the chosen ones
  3. perform the initial analysis of the BigScience models checkpoints
  4. ensure the codebase is easy to cover the new methods
Coding Challenge

see task 1.

主要言語
言語のデータがありません
スター
1
フォーク
1
30日以内にマージされた PR はありません

環境構築

このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

bigscience-workshop/interpretability-ideas のほかの issue

bigscience-workshop/interpretability-ideas の issue をすべて見る

似ている issue

AI Infra & Agents の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。