Unable to increase context length in SM serverless customizations
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- aws, python
- Área
- cloud, machine-learning
Línea de trabajo
Comienza con la ruta de personalización serverless y compara su configuración con el ejemplo de JumpStartEstimator del issue. Sigue cómo la personalización de GRPO gestiona los modelos Qwen y los hiperparámetros max_input_length y max_total_tokens. Se considera terminado cuando los clientes pueden usar esos ajustes para longitudes de contexto superiores a 2048 tokens en la personalización serverless de SM.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the feature you'd like
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
How would this feature be used? Please describe.
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
Describe alternatives you've considered
Using SM training jobs for GRPO training with recipes.
Additional context
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
- Lenguaje dominante
- Python
- Estrellas
- 2.3k
- Forks
- 1.3k
- Merge medio
- 3 d 9 h
- PR fusionados (30 d)
- 42
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aws/sagemaker-python-sdk
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
aws/sagemaker-python-sdk#6278 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
aws/sagemaker-python-sdk#6253 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 93/100
aws/sagemaker-python-sdk#6232 ·
-
component: model monitor type: bug
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
aws/sagemaker-python-sdk#6206 ·
-
component: model builder type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
aws/sagemaker-python-sdk#6199 ·
Todos los issues de aws/sagemaker-python-sdk
Issues similares
-
sponsored
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
opensubtitlescom: moviehash never sent when opensubtitles (.org) is not in the provider list Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
Diaoul/subliminal#1382 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
-
triage/confirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
agentscope-ai/agentscope#2775 ·
-
worker.gpuVendors silently accepts unsupported/misspelled vendor names — no validation guard Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100