pyg-team/pytorch_geometric

Local multi-headed self-attention

Open

#8 972 ouverte le 26 févr. 2024

Voir sur GitHub
 (3 commentaires) (1 réaction) (0 assignés)Python (3 514 forks)batch import
featurehelp wanted

Métriques du dépôt

Stars
 (19 985 stars)
Métriques de merge PR
 (Merge moyen 16j 3h) (13 PRs mergées en 30 j)

Description

🚀 The feature, motivation and pitch

I am unable to find the clean implementation of local multi-headed self-attention in pytorch geometric. I found three types of multi-head attention, one TransformerConv (https://pytorch-geometric.readthedocs.io/en/latest/generated/torch_geometric.nn.conv.TransformerConv.html#torch_geometric.nn.conv.TransformerConv). But this one calculates a linear combination of all features with different attention weights as opposed to dividing features into multiple heads and taking their linear combination: another RGATConv in the similar direction (https://pytorch-geometric.readthedocs.io/en/latest/generated/torch_geometric.nn.conv.RGATConv.html). And finally GPSConv (https://pytorch-geometric.readthedocs.io/en/latest/generated/torch_geometric.nn.conv.GPSConv.html) that does multi-head attention but is global.

Alternatives

I think it is nice to have the implementation of local self-attention with multiple heads where each head looks into a part of the feature dimension.

Additional context

No response

Guide contributeur

Direction de recherche
Étudiez les implémentations existantes dans PyTorch Geometric : TransformerConv (torch geometric/nn/conv/transformer conv.py) effectue une combinaison linéaire globale des caractéristiques, tandis que GPSConv (torch geometric/nn/conv/gps conv.py) effectue une attention multi têtes globale. Concevez une version locale qui divise les caractéristiques en têtes et calcule l'attention au sein d'un voisinage local, en utilisant un schéma de passage de messages. Référez vous à RGATConv (torch geometric/nn/conv/rgat conv.py) pour l'attention relationnelle, mais adaptez la à une auto attention locale sans relations. L'implémentation doit être une nouvelle classe de convolution qui prend les caractéristiques des nœuds et edge index, et renvoie des caractéristiques de nœuds mises à jour avec une attention multi têtes locale.
Stack technique
python
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PyTorch basicsAttention mechanism understandingPyTorch Geometric conventions
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50