pyg-team/pytorch_geometric

Implementation of LLM-to-LM GNN

Open

#9.361 geöffnet am 26. Mai 2024

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (3.514 Forks)batch import
1 - Priority P1examplefeaturehelp wanted

Repository-Metriken

Stars
 (19.985 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 16T 3h) (13 gemergte PRs in 30 T)

Beschreibung

🚀 The feature, motivation and pitch

Paper: Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text Attributed Graph Representation Learning (ICLR 2024)

The paper uses the power of an LLM to get a meaningful explanation, which is then used to fine-tune a smaller LM+GNN. Really interesting paper. Would be great to have an example of it in PyG :)

Contributor Guide

Research-Richtung
Studieren Sie das ICLR 2024 Paper 'Harnessing Explanations: LLM to LM Interpreter for Enhanced Text Attributed Graph Representation Learning'. Die Implementierung erfordert die Kombination eines LLM (z.B. von Hugging Face transformers) mit einem GNN Modell in PyTorch Geometric. Folgen Sie der in Abschnitt 3 beschriebenen Architektur. Überprüfen Sie vorhandene PyG Beispiele als Referenz, z.B. 'examples/ogbn arxiv.py' für Node Klassifikation. Implementieren Sie ein neues Modul 'LLMtoLMGNN' in torch geometric.nn. Das Feature ist noch nicht zugewiesen, daher sind Beiträge willkommen. Stellen Sie sicher, dass Sie eine angemessene Dokumentation und Tests einbeziehen.
Tech Stack
python
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
5
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PyTorch Geometric basicsGraph Neural NetworksUnderstanding of LLMsPaper reading comprehension
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20