Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Should the stopword list be updated?

Đang mở
  • Có gì không ổn?
#226 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu với pattern/vector/stopwords-en.txt và xem xét các kết quả so sánh trong thư mục Results được liên kết. Đọc các hàm find_important và compare trong lớp StemmerChecker, sau đó xác định liệu danh sách hiện tại có nên thay đổi hay không và nội dung cập nhật nào là hợp lý.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I wrote a Python script to compare the list of stopwords currently used by pattern's vector module against other popular stopword lists to check whether an update is required.

A total of 11 sources of stopwords were used to compare with (listed below). For each source, the set of words present in the source but not in pattern's list of stopwords and vice versa were reported in the corresponding file. Comparison output was stored in the directory Results by my code here. File x.txt contains the comparison result by comparing the stopword list x against the stopword list used by pattern.

My code is available here: https://github.com/ni9elf/PatternClipsExperiments The comparison of stopword lists is performed by the find_important and compare function of the StemmerChecker class.

Lists of stopwords compared against:

  1. unine.txt (formation retrieval multilingual resources from Universite de Neuchatel, Switzerland) link

  2. princeton.txt (Algorithms book by Robert Sedgewick and Kevin Wayne, Princeton) link

  3. nltk.txt (Natural Language Toolkit 3.2.5)

  4. yoast.txt (YoastSEO is a text analysis and assessment library in JavaScript for SEO feedback) link

  5. mysql.txt (MySQL Stopword list) link

  6. ranksnl_short.txt (Default stopword list used by ranks.nl) link

  7. ranksnl_long.txt (Longer version of stopword list used by ranks.nl) link

  8. corenlp.txt (Stanford CoreNLP - natural language software) link

  9. mallet.txt (MALLET (MAchine Learning for LanguagE Toolkit) from UMass Amherst) link

  10. glasgow.txt (Information retrieval resources from University of Glasgow) link

  11. onix.txt (Onix Text Retrieval Toolkit) link

Ngôn ngữ chính
Python
Star
8.9k
Fork
1.6k
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của clips/pattern

Tất cả issue của clips/pattern

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.