Add diminishing returns for notes in Solr scoring

Ouverte
  • Quelque chose ne va pas ?
#412 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Calme
Stack technique
python
Domaine
search

Piste de recherche

Start by locating the Solr query configuration and scoring tests, then compare the scores with note search enabled and disabled. Explore how repeated matching notes affect document scores; done means the first few note matches still contribute while additional matches have diminishing influence.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

planning solr

For logged in premium users, they have access to note search.
An example query:
https://www.documentcloud.org/documents/?q=Higganum+complaint

The first few documents are rated so highly not because they are super relevant in content, but because they have a LOT of notes with the word complaint in them. Did testing in the Django shell with my user (which has note search enabled) and those without and the resulting scores for the top 5 documents Solr returns are as follows:

WITHOUT notes:
  id: 2704406 score: 51.575443
  id: 3535180 score: 45.707706
  id: 336686 score: 44.942238
  id: 26948698 score: 41.152092
  id: 6953986 score: 41.038723

WITH notes:
  id: 321087 score: 397.05875
  id: 3034115 score: 186.30943
  id: 28167531 score: 147.98016
  id: 23789873 score: 147.8687
  id: 1369433 score: 132.84674

When looking deeper into the explanation:

doc 321087 has 106 notes matching 'complaint' in title:
note: 47030 title: Telephone-related complaint score: 3.3627408
note: 47031 title: Telephone-related complaint score: 3.3627408
note: 47032 title: Telephone-related complaint score: 3.3627408
note: 47033 title: Telephone-related complaint score: 3.3627408
note: 47036 title: Telephone-related complaint score: 3.3627408

We should add some kind of diminishing return mechanism here so the first few note hits impact score, but the returns diminish with too many

Langage dominant
Python
Étoiles
55
Forks
10
Merge moyen
1 j 13 h
PR mergées (30 j)
22

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de MuckRock/documentcloud

Toutes les issues de MuckRock/documentcloud

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.