feat: allow specifying multiple values for properties in an instance
I maintainer di solito rispondono entro 1 giorno
@christian-pinto ci sta già lavorando.
Dal 28/9/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Description
I would like a way for a problem instance to a sweep of one or more variables.
An example is given in https://zib-aopt.github.io/QOBLIB/instance.html?problem=06&name=a050_t10_s00_b020 where the parameter lambda has multiple values
This would allow us to add this QOBLIB problem instance, a050_t10_s00_b020 (and the others), as defined there which we can't currently do.
Proposed Solution
Proposed solution is to define the properties of the instance in the same way as an entity space. This naturally allows defining a sweep.
The previous solution will not work in this case because
- each lambda value is a separate input file.
- which lambda value is which is only stored in the file name
That is, as is reading only the files you have to know how the lambda value was stored. The qoblib results display works because the submitter of a result can make this mapping in the submission. The website does not have to understand the mapping.
The problem remains in how to handle the difference between parameters which can have exactly one of a set of values (the artefact files) and the others. Right now I propose keeping them separate as they are - later we might find a way to define everything as an entity space (e.g. using constraints).
Alternate Solutions
Define in one instance folder multiple sub-instances which are then rendered as being one instance in the dashboard.
For example in this case one folder for lamdba=0, lambda=1e-6 etc.
Additional Context
If showing on a leadeboard the varying parameters would have to be added to instance name in same was a parameterized experiment. This doesn't happen on QOBLIB and leads to a bug where the best value for 050_t10_s00_b020 is actually the best value for one of the lambdas.
- Lingua principale
- Python
- Stelle
- 4
- Fork
- 7
- Merge medio
- 18h 13m
- PR unite (30g)
- 18
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di IBM/algorithm-nexus
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
IBM/algorithm-nexus#159 ·
I maintainer di solito rispondono entro 1 giorno
-
bug: `nexus validate logical-benchmarks` does not fail when instances are misplacedForse già presa @AlessandroPomponio l’ha presa oggi. Apertabug
IBM/algorithm-nexus#288 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
feat: enabling associating experiment results to a benchmark instance when number of instance properties exceeds experiment propertiesForse già presa @christian-pinto l’ha presa 2 giorni fa. Apertaenhancement
IBM/algorithm-nexus#282 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
docs: improve readmeAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
IBM/algorithm-nexus#276 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
IBM/algorithm-nexus#254 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di IBM/algorithm-nexus
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
mozilla/bedrock#17413 · 1 reazione ·
I maintainer di solito rispondono entro 2 giorni
-
instance instance add
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
searxng/searx-instances#943 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
bug tools
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
lance-format/lance#9655 ·
I maintainer di solito rispondono entro 2 giorni