[GSoC] Integrate the trained model to inject required phrases into rules
Maintainer antworten meist innerhalb von 3 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 44/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Ruhig
- Bereich
- machine-learning, tooling
Rechercherichtung
Beginne mit dem Workflow zur Regelaktualisierung: Finde heraus, wo get_updatable_rules_by_expression die Kandidatenregeln auswählt und wo add_required_phrase_to_rule Schreibvorgänge ausführt. Erweitere diesen Pfad um den trainierten PyTorch-fp32-Inferenzschritt, rekonstruiere anschließend Phrasen aus BIOES-Spans, validiere jede mit is_good() und injiziere Vorhersagen nur dann, wenn sie zuverlässig sind, sofern nicht --dry-run gesetzt ist, unter Verwendung von source=ml_model. Verwende alle zugehörigen Tests oder Befehlseinstiegspunkte für die Regelverarbeitung als ersten Verifizierungspunkt und bestätige abschließend das Verhalten beim Injizieren erforderlicher Phrasen sowie die Anforderung, nach dem Schreiben scancode-reindex-licenses auszuführen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
follows #5137. uses the trained model from there
Goal
Run the finetuned model over eligible rules that have no required phrases, and
inject the predicted {{ }} markers using scancode's existing helpers
Tasks
- load the trained model (PyTorch, fp32) and run inference on rule text
- pick target rules with get_updatable_rules_by_expression (skips ineligible ones)
- rebuild predicted phrases from the BIOES spans
- validate every phrase with is_good() before writing
- inject with add_required_phrase_to_rule, tagged source=ml_model
- --dry-run and a confidence threshold so only confident phrases auto-inject
- note to run scancode-reindex-licenses after any write
- Vorherrschende Sprache
- Python
- Sterne
- 2.7k
- Forks
- 831
- Ø Merge
- 3 T. 4 Std.
- Gemergte PRs (30 T.)
- 7
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus aboutcode-org/scancode-toolkit
-
bug: Unreachable JSON extension and format validation in validate_input_pathEvtl. vergeben @0Cymantek0 hat das vor 18 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
aboutcode-org/scancode-toolkit#5351 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
-
CycloneDX output: metadata.properties[].value emits JSON array instead of stringEvtl. vergeben @0Cymantek0 hat das vor 18 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
aboutcode-org/scancode-toolkit#5349 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
-
Duplicate 'COPYLEFT' entries in legal file classification names in legal.py and classify.pyEvtl. vergeben @Pradeepbeleri hat das vor 45 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
aboutcode-org/scancode-toolkit#5319 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 3 Tagen
-
Duplicate autogen.sh entry in commoncode default ignoresEvtl. vergeben @Daksha1611 hat das vor 48 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
aboutcode-org/scancode-toolkit#5316 ·
Maintainer antworten meist innerhalb von 3 Tagen
-
Duplicate LGPL key in rubygems LICENSES_MAPPING makes one mapping unreachableEvtl. vergeben @Daksha1611 hat das vor 48 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
aboutcode-org/scancode-toolkit#5314 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
Alle Issues in aboutcode-org/scancode-toolkit
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
Validate finite output clamping limits in StepPredictor.prepare_clamping_params to prevent silent NaN/Inf propagationEvtl. vergeben @muskan-creates352 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
mllam/neural-lam#848 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
infra
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
fab-geocommuns/RNB-coeur#1166 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
deepspeedai/DeepSpeed#8951 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
aws/context-ontology-accelerator#343 ·
Maintainer antworten meist innerhalb von 1 Tag