pyg-team/pytorch_geometric

Implementation of LLM-to-LM GNN

Open

#9361 aperta il 26 mag 2024

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)Python (3514 fork)batch import
1 - Priority P1examplefeaturehelp wanted

Metriche repository

Star
 (19.985 star)
Metriche merge PR
 (Merge medio 16g 3h) (13 PR mergiate in 30 g)

Descrizione

🚀 The feature, motivation and pitch

Paper: Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text Attributed Graph Representation Learning (ICLR 2024)

The paper uses the power of an LLM to get a meaningful explanation, which is then used to fine-tune a smaller LM+GNN. Really interesting paper. Would be great to have an example of it in PyG :)

Guida contributor

Direzione di ricerca
Studia il paper ICLR 2024 'Harnessing Explanations: LLM to LM Interpreter for Enhanced Text Attributed Graph Representation Learning'. L'implementazione richiede di combinare un LLM (ad esempio da Hugging Face transformers) con un modello GNN in PyTorch Geometric. Segui l'architettura descritta nella Sezione 3. Rivedi gli esempi PyG esistenti come riferimento, ad esempio 'examples/ogbn arxiv.py' per la classificazione dei nodi. Implementa un nuovo modulo 'LLMtoLMGNN' in torch geometric.nn. La funzionalità non è ancora assegnata, quindi i contributi sono benvenuti. Assicurati di includere documentazione e test appropriati.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
5
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorch Geometric basicsGraph Neural NetworksUnderstanding of LLMsPaper reading comprehension
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20