Implement hard confidence gate
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con la interfaz propuesta should_use_lookup(context, threshold) e inspecciona las rutas existentes de n-gram y generación neuronal. Resuelve las preguntas abiertas sobre la variación del umbral y las coincidencias parciales antes de implementar el gate. Se considera terminado cuando se calcula la confianza, funcionan los umbrales en tiempo de inferencia, se registran las métricas del gate y la infraestructura para la comparación A/B está lista.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
Implement a confidence gating mechanism that decides whether to use lookup or fall back to neural generation.
Success Criteria
- Confidence score computed from n-gram statistics
- Threshold tuning mechanism
- Gate can be adjusted at inference time
- Metrics tracked: gate hit rate, confidence distribution
- A/B comparison infrastructure ready
Confidence Metrics (Candidates)
- Raw count threshold
- Probability vs uniform baseline
- Entropy of continuation distribution
- Coverage (% of vocabulary seen)
Interface
```python
def should_use_lookup(context: list[str], threshold: float = 0.8) -> tuple[bool, float]:
"""Returns (use_lookup, confidence_score)"""
...
```
Open Questions
- Should threshold vary by position in sequence?
- How to handle partial matches (2-gram when 3-gram fails)?
- Lenguaje dominante
- Python
- Estrellas
- 0
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aRustyDev/ccgram
-
Define next-step research ideasAbiertodocs experiment
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
-
Write usage documentationAbiertodocs
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
-
Freeze architectureAbiertoinfra model
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Document findingsAbiertodocs experiment
Dificultad 3/5 3-5 días Aptitud para principiantes 45/100
-
ablation evaluation
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
Todos los issues de aRustyDev/ccgram
Issues similares
-
mermaid_extract.py silently discards single-line state-diagram notes; sequence notes are keptAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
cathrynlavery/diagram-design#441 ·
Los mantenedores suelen responder en 2 días
-
[Cleanup] Include the public header in work_split.cppPosiblemente ocupada @blozano-tt la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
tenstorrent/tt-metal#60850 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
backend::sglang bug language::python observability
Dificultad 2/5 Medio día Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
OpenShot/openshot-qt#6202 ·
Los mantenedores suelen responder en 1 día