Percentage split and variant hash collide when segment key equals feature key
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 78/100
Direzione di ricerca
Start in segments/evaluator.py at the PERCENTAGE_SPLIT handling and variant selection, then trace the get_evaluation_result entry point used by the reproduction. Verify that percentage splits and multivariate variants no longer collide when their keys match, and rerun the 1,000-identity example to confirm both variants are served.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Bug
A percentage split segment and a multivariate feature hash the same inputs when the segment key equals the feature key:
- the split hashes
[segment_key, identity_key](segments/evaluator.py,PERCENTAGE_SPLIT) - the variant hashes
[feature_key, identity_key](segments/evaluator.py, variant selection)
Both give the same number. An identity is only in a 50% split when that number is 50 or below, so it always lands in the first variant. The other variants are never served to anyone in the segment.
Segment and feature keys are ids from different tables, so they can be equal by chance.
Reproduction
from flag_engine.utils.hashing import get_hashed_percentage_for_object_ids as h
identity = "user-1"
assert h(["95", identity]) == h(["95", identity]) # split == variant
End to end: a segment with a 50% split on $.identity.key, overriding a feature with two 50/50 variants, evaluated for 1000 identities:
from collections import Counter
from flag_engine.engine import get_evaluation_result
def variants(segment_key: str, feature_key: str) -> Counter[str]:
context = {
"environment": {"key": "env", "name": "env"},
"segments": {
segment_key: {
"key": segment_key,
"name": "rollout",
"rules": [{"type": "ALL", "conditions": [
{"property": "$.identity.key", "operator": "PERCENTAGE_SPLIT", "value": "50"},
]}],
"overrides": [{
"key": feature_key, "name": "checkout", "enabled": True, "value": "control",
"variants": [
{"value": "a", "weight": 50, "priority": 0, "key": "variant-a"},
{"value": "b", "weight": 50, "priority": 1, "key": "variant-b"},
],
}],
}
},
"features": {"checkout": {"key": "1", "name": "checkout", "enabled": False, "value": None}},
}
counts: Counter[str] = Counter()
for i in range(1000):
context["identity"] = {"identifier": f"user-{i}", "key": f"user-{i}"}
flag = get_evaluation_result(context)["flags"]["checkout"]
if flag["enabled"]:
counts[flag["variant"]] += 1
return counts
print(variants("95", "96")) # Counter({'variant-b': 260, 'variant-a': 254})
print(variants("95", "95")) # Counter({'variant-a': 514})
Impact
Any segment override with variants on a percentage split segment whose key equals the feature key serves only one variant to the whole segment. For an experiment rollout, the experiment has a single arm. Seen in Flagsmith's API tests in Flagsmith/flagsmith#8646.
- Lingua principale
- Python
- Stelle
- 10
- Fork
- 5
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Flagsmith/flagsmith-engine
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
Flagsmith/flagsmith-engine#340 ·
-
Incorrect `reason` used for environment default flagsForse già presa @bakirFS l’ha presa 24 giorni fa. Aperta
Flagsmith/flagsmith-engine#341 · 1 commento · 1 assegnatario ·
-
Dependency DashboardAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 25/100
Flagsmith/flagsmith-engine#306 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
Flagsmith/flagsmith-engine#231 ·
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 55/100
Flagsmith/flagsmith-engine#207 · 2 commenti ·
Tutte le issue di Flagsmith/flagsmith-engine
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-plugin-claude-subscription-directsdk#94 ·
I maintainer di solito rispondono entro 1 giorno
-
namespace operations
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
EclipseFdn/open-vsx.org#13702 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
modelscope/ms-swift#10287 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
modelscope/FunASR#3757 ·
I maintainer di solito rispondono entro 1 giorno