Can it support multi-gpu int-8 quantization?

Repository-Metriken

Stars

38.959 Sterne (38.959 Sterne)

PR-Merge-Metriken

Keine gemergten PRs in 30 T (Keine gemergten PRs in 30 T)

Beschreibung

Contributor Guide

Research-Richtung

Untersuche die aktuelle Implementierung des Modelladapters für die int8 Quantisierung auf einer einzelnen GPU und entwerfe eine Erweiterung zur Unterstützung mehrerer GPUs, mit Fokus auf Lastverteilung und Kommunikation zwischen GPUs.

Tech Stack

pythonpytorch

Domain

backendmachine learning

Issue Type

Funktion

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-2 Tage

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Aktiv

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Meist klar

Voraussetzungen

PythonPyTorchCUDAMulti GPU concepts

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

30