Example notebook with Datalab on a text dataset with sota LLM & embeddings model
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- huggingface, jupyter-notebook
- Área
- machine-learning
Línea de trabajo
Comienza leyendo el tutorial de texto existente de Datalab en https://docs.cleanlab.ai/stable/tutorials/datalab/text.html y revisa las convenciones de los notebooks de ejemplo del repositorio. Selecciona un conjunto de datos de HuggingFace y modelos preentrenados modernos para pred_probs y features, y luego demuestra problemas detectados interesantes, incluido un problema de un grupo con bajo rendimiento, en un notebook reproducible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Make a version of this tutorial: https://docs.cleanlab.ai/stable/tutorials/datalab/text.html
but using more modern ML models. pred_probs can be produced by a (pretrained) LLM, and features produced via a recently popular Embeddings model.
Recommend using models from HuggingFace. Try to select a dataset where the detected issues are interesting, particularly one where the under-performing group issue is present.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 136
- Forks
- 28
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de cleanlab/examples
-
run datalab on food datasetAbiertohelp wanted
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
-
good first issue help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
good first issue help wanted
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
Todos los issues de cleanlab/examples
Issues similares
-
Dificultad 2/5 Medio día Aptitud para principiantes 62/100
EvolvingLMMs-Lab/LongVT#27 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 3 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
ManualStateFeatureWeighting accepts non-positive weights leading to NaN/inf lossPosiblemente ocupada @Shivampal157 la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
mllam/neural-lam#787 · 1 comentario ·
Los mantenedores suelen responder en 2 días