bigscience-workshop/petals

Ver en GitHub

🌸 Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading

Estrellas: 10.6k
Forks: 651
Issues abiertos para principiantes: 0
Issues indexados: 94

Lenguaje dominante: Python
Licencia: MIT
Último push a GitHub: 25/8/2024
Última indexación: 14/9/2026
Guía de contribución: Sin guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: help wanted good first issue
Métricas de merge de PR: Sin PR fusionados en 30 d

Para principiantes Todo

Abierto Todos

94 issues abiertos indexados

Is this project dead? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

bigscience-workshop/petals#633 · Abierto el 4/9/2026
Should psutil be a runtime dependency? Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

bigscience-workshop/petals#632 · Abierto el 18/8/2026
Request failed at https://chat.petals.dev/ Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100

bigscience-workshop/petals#625 · 1 comentario · Abierto el 28/5/2025
Health website times out https://health.petals.dev/ Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#624 · 6 reacciones · Abierto el 28/5/2025
Vulkan compute backend support? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#622 · 1 comentario · Abierto el 5/3/2025
Private Petals Swarm with different networks? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#621 · 2 comentarios · Abierto el 13/2/2025
does anyone run success on mac? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

bigscience-workshop/petals#620 · 1 comentario · Abierto el 6/1/2025
Create a bash script for the docker image Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

bigscience-workshop/petals#615 · Abierto el 27/10/2024
Performance improving chances in the future Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#614 · 1 comentario · Abierto el 27/9/2024
Mac M3 Any Model crashing Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#613 · 2 comentarios · Abierto el 12/9/2024
Question about overlapped serving blocks Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

bigscience-workshop/petals#610 · Abierto el 15/8/2024
Error using the local llama3.1 model Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#609 · 1 comentario · Abierto el 15/8/2024
attention_mask = FalconModel._prepare_attn_mask(attention_mask, (batch_size, seq_length), past_length) AttributeError: type object 'FalconModel' has no attribute '_prepare_attn_mask' Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

bigscience-workshop/petals#608 · Abierto el 10/8/2024
multiple gpu support? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#606 · Abierto el 28/7/2024
Pascal family cards support. Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#605 · Abierto el 25/7/2024
Unable to see private swarm contributers on the Health Monitor Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#604 · 2 reacciones · Abierto el 25/7/2024
Meta Llama 3.1 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#597 · 2 comentarios · 1 reacción · Abierto el 23/7/2024
Petals doesn't deal with server failure properly Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

bigscience-workshop/petals#587 · 4 comentarios · 1 reacción · Abierto el 26/6/2024
Donating System Memory? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#586 · 2 comentarios · Abierto el 22/6/2024
batch processing/parallel processing Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#585 · 1 comentario · Abierto el 17/6/2024
System_prompt Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#581 · 1 comentario · Abierto el 3/6/2024
Manual management of shards Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#573 · 1 comentario · Abierto el 10/4/2024
DynamicCache and Beam Search Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

bigscience-workshop/petals#571 · Abierto el 9/4/2024
compile to webassembly Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#566 · 3 comentarios · 1 reacción · Abierto el 21/3/2024
Latest bump "Bump transformers and accelerate versions (#554)" looks to destroy Falcon support. Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

bigscience-workshop/petals#565 · 5 comentarios · Abierto el 18/3/2024
Grok | Mixture-of-Experts | Model Support Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#564 · 3 comentarios · 2 reacciones · Abierto el 17/3/2024
content of 'labels' when doing prompt tuning of llama-2 on QA Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#561 · Abierto el 12/3/2024
Feature Request: Distributed inference API where the "miners" are paid. Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#556 · 3 comentarios · Abierto el 20/2/2024
Error when trying to launch private swarm using locally stored model Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

bigscience-workshop/petals#549 · 2 comentarios · Abierto el 21/12/2023
Add "Podman" usage to the documentation Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100

bigscience-workshop/petals#546 · Abierto el 11/12/2023
Upstream Changes makes the demo not work Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

bigscience-workshop/petals#536 · 2 comentarios · Abierto el 7/11/2023
I confirm Petals not working in Google Colab Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

bigscience-workshop/petals#534 · 2 comentarios · Abierto el 4/11/2023
Error while hosting as provider Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

bigscience-workshop/petals#533 · 1 comentario · 1 reacción · Abierto el 31/10/2023
IndexError: tuple index out of range Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#532 · 7 comentarios · Abierto el 25/10/2023
text to video generation models ? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#529 · 2 comentarios · Abierto el 22/10/2023
Pyinstaller packaged Petals binary fails to load/download on`AutoDistributedModelForCausalLM.from_pretrained` Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 30/100

bigscience-workshop/petals#528 · Abierto el 19/10/2023
whether past_key_values can be obtained Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

bigscience-workshop/petals#526 · 1 comentario · Abierto el 11/10/2023
support quivr or privateGPT? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

bigscience-workshop/petals#524 · 1 comentario · 1 reacción · Abierto el 29/9/2023
[might be bug?] Failed to connect to bootstrap peers when using docker image on truenas scale Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#511 · 4 comentarios · Abierto el 16/9/2023
Petals server Network ports remain open after python process shutdown Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#509 · 1 comentario · Abierto el 13/9/2023
More powerful session API Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

bigscience-workshop/petals#495 · 1 comentario · 2 reacciones · Abierto el 2/9/2023
Incentive system based on Lightning Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#494 · 1 comentario · Abierto el 31/8/2023
How can we make this work long term? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#483 · 7 comentarios · Abierto el 29/8/2023
Random error when starting docker container again Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#468 · Abierto el 18/8/2023
Add server option to prioritize a list of given peer IDs (so you can prioritize your own clients) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#457 · Abierto el 10/8/2023
Hope to get in touch Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 1/100

bigscience-workshop/petals#455 · Abierto el 9/8/2023
OS-level lock for choosing blocks Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

bigscience-workshop/petals#453 · Abierto el 8/8/2023
Report average queue size in tokens (per last 10 min) for routing Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

bigscience-workshop/petals#447 · Abierto el 7/8/2023
API reference Abierto

documentation

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#446 · 3 reacciones · Abierto el 7/8/2023
How to parallelize this code for model.generate? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

bigscience-workshop/petals#427 · Abierto el 1/8/2023

bigscience-workshop/petals

Recibe los nuevos issues en tu correo