Expose repository-owned sdkharness conformance checks

Aperta
  • Qualcosa non va?
#1,168 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
testing

Direzione di ricerca

Start by inspecting .sdkharness/tests.tsv and the existing CLI conformance checks in backblaze-labs/demand-side-ai/sdkharness; the issue does not name specific assertion files or test commands. The work is complete when all 30 checks are moved in coherent batches, run in shadow mode with equivalent evidence, and accept only the specified simulator realm and fake credentials while emitting one versioned result per scenario.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Context

The repository now owns its sdkharness customer-health contract (#1166 / #1167). The next phase moves the CLI-specific conformance assertions that currently live in backblaze-labs/demand-side-ai/sdkharness beside the CLI implementation.

These are not replacements with the existing credentialed integration suite. They are deterministic quality contracts run by the central harness against its loopback B2 simulator.

Proposed contract

  • Extend .sdkharness/tests.tsv with conformance/<capability> rows.
  • Store the corresponding executable assertions under .sdkharness/tests/.
  • Accept only the harness-provided simulator realm and fixed fake credentials for routine execution.
  • Emit exactly one versioned SDKHARNESS_RESULT record per scenario.
  • Load the CLI implementation from the checked-out repository revision.

The central harness remains responsible for scenario semantics, simulator lifecycle, invocation, evidence, issue reconciliation, fleet reporting, and notifications.

Safe rollout

Deliver the 30 current CLI conformance checks in coherent batches. Each batch runs in non-counting shadow mode beside the current harness implementation before promotion. No harness check is removed until the exact merged upstream revision produces equivalent evidence.

Lingua principale
Python
Stelle
638
Fork
138
Merge medio
8h 27m
PR unite (30g)
8

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Backblaze/B2_Command_Line_Tool

Tutte le issue di Backblaze/B2_Command_Line_Tool

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.