[FR] Binoculars as a new metric
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con la descripción enlazada de Binoculars y las convenciones existentes de la biblioteca evaluate para cargar métricas. Determina cómo una métrica puede cargar los modelos de lenguaje del observador y del performer y aceptar los argumentos prediction y model mostrados. Se considera terminado cuando binocular está disponible mediante load("binocular", module_type="metric") y calcula el resultado de detección solicitado.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Binocular is a metric similar to perplexity [read about binocular]. Binocular uses two language models with same tokenization to detect the LLM generated text (or data contamination).
Currently the evaluate library doesn't include binocular in its long list of metrics. Something like the following could help the library be more useful
from evaluate import load
binocular = load("binocular", module_type="metric")
results = binocular.compute(predictions=predictions, observer_model='tiiuae/falcon-7b-instruct', performer_model='tiiuae/falcon-7b')
- Lenguaje dominante
- Python
- Estrellas
- 2.5k
- Forks
- 366
- Merge medio
- 48 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationPosiblemente ocupada @reginaldalfret la tomó hace 6 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#836 ·
Los mantenedores suelen responder en 1 día
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsPosiblemente ocupada @ktz03 la tomó hace 18 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
huggingface/evaluate#825 ·
Los mantenedores suelen responder en 1 día
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residuePosiblemente ocupada @MahendraMula la tomó hace 35 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#822 ·
Los mantenedores suelen responder en 1 día
-
Perplexity metric fails with GPT-2 tokenizerPosiblemente ocupada @zanvari la tomó hace 133 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/evaluate#766 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
False/misleading instruction to use different checkpoints of BLEURTQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
huggingface/evaluate#679 · 1 reacción ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/evaluate
Issues similares
-
ready-for-agent tooling
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
KRoperUK/smeg-plus-patches#249 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
monzta1/ToneCommand#293 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
oracle/graalvm-reachability-metadata#11318 ·
Los mantenedores suelen responder en 1 día
-
area: parser bug difficulty: easy
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
hayagrivai-labs/phantom#150 ·
Los mantenedores suelen responder en 1 día
-
test: cover markdown.py summary items in numeric difference table and fallback number escapingAbiertodifficulty: easy good first issue help wanted mentor available testing
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
hayagrivai-labs/sciproof#179 ·
Los mantenedores suelen responder en 1 día