Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Should the stopword list be updated?

Abierto
#226 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python
Área
machine-learning

Línea de trabajo

Comience con pattern/vector/stopwords-en.txt y revise los resultados de comparación en el directorio Results enlazado. Lea las funciones find_important y compare de la clase StemmerChecker y, a continuación, determine si la lista existente debería cambiar y qué contenido actualizado estaría justificado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I wrote a Python script to compare the list of stopwords currently used by pattern's vector module against other popular stopword lists to check whether an update is required.

A total of 11 sources of stopwords were used to compare with (listed below). For each source, the set of words present in the source but not in pattern's list of stopwords and vice versa were reported in the corresponding file. Comparison output was stored in the directory Results by my code here. File x.txt contains the comparison result by comparing the stopword list x against the stopword list used by pattern.

My code is available here: https://github.com/ni9elf/PatternClipsExperiments The comparison of stopword lists is performed by the find_important and compare function of the StemmerChecker class.

Lists of stopwords compared against:

  1. unine.txt (formation retrieval multilingual resources from Universite de Neuchatel, Switzerland) link

  2. princeton.txt (Algorithms book by Robert Sedgewick and Kevin Wayne, Princeton) link

  3. nltk.txt (Natural Language Toolkit 3.2.5)

  4. yoast.txt (YoastSEO is a text analysis and assessment library in JavaScript for SEO feedback) link

  5. mysql.txt (MySQL Stopword list) link

  6. ranksnl_short.txt (Default stopword list used by ranks.nl) link

  7. ranksnl_long.txt (Longer version of stopword list used by ranks.nl) link

  8. corenlp.txt (Stanford CoreNLP - natural language software) link

  9. mallet.txt (MALLET (MAchine Learning for LanguagE Toolkit) from UMass Amherst) link

  10. glasgow.txt (Information retrieval resources from University of Glasgow) link

  11. onix.txt (Onix Text Retrieval Toolkit) link

Lenguaje dominante
Python
Estrellas
8.9k
Forks
1.6k
Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de clips/pattern

Todos los issues de clips/pattern

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.