Study: models and datasets to blur buildings in the livestream

Aperta
  • Qualcosa non va?
#465 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Read roadmap issue #41 and inspect the current YOLO11n setup to record its classes and station speed (640×360 at 10 fps, model input 640). Compare the listed datasets by licence, annotation type and image domain, then assess the proposed model options for tower views. Done means a short write-up choosing datasets, classes to blur, a model and a training plan.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

module: vision type: enhancement

Part of pyronear/roadmap#41 (Livestream anonymisation).

Context

The livestream is blurred by a YOLO11n (pyronear/yolov11n on Hugging Face, NCNN on the Pi) that detects persons and vehicles. We want to blur buildings too, and other classes if useful, at the same speed. YOLO has no building class, so we need a new model. This issue is the study before training.

What has to be done

  • Note the classes of the current model (post-processing keeps class index < 10) and its speed on a station (640x360 at 10 fps, model input 640).
  • List datasets with a building class: ADE20K (https://datasetninja.com/ade20k#class-sizes), COCO-Stuff, Cityscapes, Mapillary Vistas, Open Images. For each: licence, boxes or masks, image domain. Our cameras look at landscapes from a tower, buildings are small and far. Most datasets are street level.
  • List models: YOLO11n retrained on a merged dataset, YOLO11n-seg or a small segmentation model, or a big open-vocabulary model (YOLO-World, Grounding DINO, SAM) to label our own station images and train a small YOLO on them.
  • Propose the classes to blur and the training plan.

Done when

  • A short write-up with the chosen datasets, model, classes and plan
Lingua principale
Python
Stelle
20
Fork
9
Merge medio
1g 12h
PR unite (30g)
9

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pyronear/pyro-engine

Tutte le issue di pyronear/pyro-engine

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.