dselivanov/text2vec

Topic modeling guide

Open

#262 ouverte le 26 mai 2018

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)R (134 forks)batch import
help wanted

Métriques du dépôt

Stars
 (837 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

It will be useful to create a comprehensive practical guide for topic modeling. Now we have all components in place:

  • POS tags and lemmatization - thanks to udpipe package
  • coherence measures - thanks to Manuel work
  • fast LDA, thanks to WarpLDA in text2vec
  • fast non-negative matrix factorization, thanks to rsparse package
  • multi-word phrase extraction - several approaches text2vec::Collocations, udpipe::as_phrasemachine

Steps

  • find interesting non-trivial corpus with large number of documents
  • demonstrate how to create tokenizer which only use particular POS
  • create collocation model on top of that
  • create document-term matrix using tokens with multi-word expression
  • fit several topic models (text2vec::LDA, rsparse::WRMF) with different hyper parameters
  • cross-validate / compare them using different coherence metrics
    • demonstrate usage of external corpus for tcm calculation
    • check on how coherence metrics are correlated (is perplexity correlated with them? )

There are already good vignettes in udpipe package topic modeling and phrase extraction. They can be used as inspiration.

@manuelbickel @jwijffels anything we can add to the plan above?

Guide contributeur

Direction de recherche
Suivez les etapes : selectionnez un corpus non trivial, tokenisez en utilisant les etiquettes POS, extrayez les collocations, creez une matrice document terme avec des expressions multi mots, ajustez des modeles de sujets (LDA, WRMF) avec differents hyperparametres et effectuez une validation croisee a l'aide de mesures de coherence. Comparez les mesures de coherence et demontrez la correlation avec la perplexite.
Stack technique
r
Domaine
documentation
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
RGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75