Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Should the stopword list be updated?

Ouverte
  • Quelque chose ne va pas ?
#226 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
25/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
python
Domaine
machine-learning

Piste de recherche

Commencez par pattern/vector/stopwords-en.txt et examinez les résultats de comparaison dans le répertoire Results lié. Lisez les fonctions find_important et compare de la classe StemmerChecker, puis déterminez si la liste existante doit être modifiée et quel contenu mis à jour serait justifié.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

I wrote a Python script to compare the list of stopwords currently used by pattern's vector module against other popular stopword lists to check whether an update is required.

A total of 11 sources of stopwords were used to compare with (listed below). For each source, the set of words present in the source but not in pattern's list of stopwords and vice versa were reported in the corresponding file. Comparison output was stored in the directory Results by my code here. File x.txt contains the comparison result by comparing the stopword list x against the stopword list used by pattern.

My code is available here: https://github.com/ni9elf/PatternClipsExperiments The comparison of stopword lists is performed by the find_important and compare function of the StemmerChecker class.

Lists of stopwords compared against:

  1. unine.txt (formation retrieval multilingual resources from Universite de Neuchatel, Switzerland) link

  2. princeton.txt (Algorithms book by Robert Sedgewick and Kevin Wayne, Princeton) link

  3. nltk.txt (Natural Language Toolkit 3.2.5)

  4. yoast.txt (YoastSEO is a text analysis and assessment library in JavaScript for SEO feedback) link

  5. mysql.txt (MySQL Stopword list) link

  6. ranksnl_short.txt (Default stopword list used by ranks.nl) link

  7. ranksnl_long.txt (Longer version of stopword list used by ranks.nl) link

  8. corenlp.txt (Stanford CoreNLP - natural language software) link

  9. mallet.txt (MALLET (MAchine Learning for LanguagE Toolkit) from UMass Amherst) link

  10. glasgow.txt (Information retrieval resources from University of Glasgow) link

  11. onix.txt (Onix Text Retrieval Toolkit) link

Langage dominant
Python
Étoiles
8.9k
Forks
1.6k
Aucune PR mergée en 30 j

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de clips/pattern

Toutes les issues de clips/pattern

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.