Add diminishing returns for notes in Solr scoring

Aperta
  • Qualcosa non va?
#412 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
search

Direzione di ricerca

Start by locating the Solr query configuration and scoring tests, then compare the scores with note search enabled and disabled. Explore how repeated matching notes affect document scores; done means the first few note matches still contribute while additional matches have diminishing influence.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

planning solr

For logged in premium users, they have access to note search.
An example query:
https://www.documentcloud.org/documents/?q=Higganum+complaint

The first few documents are rated so highly not because they are super relevant in content, but because they have a LOT of notes with the word complaint in them. Did testing in the Django shell with my user (which has note search enabled) and those without and the resulting scores for the top 5 documents Solr returns are as follows:

WITHOUT notes:
  id: 2704406 score: 51.575443
  id: 3535180 score: 45.707706
  id: 336686 score: 44.942238
  id: 26948698 score: 41.152092
  id: 6953986 score: 41.038723

WITH notes:
  id: 321087 score: 397.05875
  id: 3034115 score: 186.30943
  id: 28167531 score: 147.98016
  id: 23789873 score: 147.8687
  id: 1369433 score: 132.84674

When looking deeper into the explanation:

doc 321087 has 106 notes matching 'complaint' in title:
note: 47030 title: Telephone-related complaint score: 3.3627408
note: 47031 title: Telephone-related complaint score: 3.3627408
note: 47032 title: Telephone-related complaint score: 3.3627408
note: 47033 title: Telephone-related complaint score: 3.3627408
note: 47036 title: Telephone-related complaint score: 3.3627408

We should add some kind of diminishing return mechanism here so the first few note hits impact score, but the returns diminish with too many

Lingua principale
Python
Stelle
55
Fork
10
Merge medio
1g 13h
PR unite (30g)
22

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MuckRock/documentcloud

Tutte le issue di MuckRock/documentcloud

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.