pyg-team/pytorch_geometric

Implementation of LLM-to-LM GNN

Open

#9.361 aberto em 26 de mai. de 2024

Ver no GitHub
 (3 comments) (0 reactions) (1 assignee)Python (3.514 forks)batch import
1 - Priority P1examplefeaturehelp wanted

Métricas do repositório

Stars
 (19.985 stars)
Métricas de merge de PR
 (Mesclagem média 16d 3h) (13 fundiu PRs em 30d)

Description

🚀 The feature, motivation and pitch

Paper: Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text Attributed Graph Representation Learning (ICLR 2024)

The paper uses the power of an LLM to get a meaningful explanation, which is then used to fine-tune a smaller LM+GNN. Really interesting paper. Would be great to have an example of it in PyG :)

Guia do colaborador

Direção de pesquisa
Estude o artigo da ICLR 2024 'Harnessing Explanations: LLM to LM Interpreter for Enhanced Text Attributed Graph Representation Learning'. A implementação requer combinar um LLM (por exemplo, do Hugging Face transformers) com um modelo GNN no PyTorch Geometric. Siga a arquitetura descrita na Seção 3. Revise exemplos existentes do PyG como referência, como 'examples/ogbn arxiv.py' para classificação de nós. Implemente um novo módulo 'LLMtoLMGNN' em torch geometric.nn. O recurso ainda não foi atribuído, portanto contribuições são bem vindas. Certifique se de incluir documentação e testes adequados.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
5
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PyTorch Geometric basicsGraph Neural NetworksUnderstanding of LLMsPaper reading comprehension
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20