Support running scripts with Nodejs or Deno, including webgpu support
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- deno, nodejs, typescript
- Bereich
- machine-learning, tooling
Rechercherichtung
Beginne mit animated-transformer/src/lib/seqtasks/tiny_worlds_train_self.script.ts und dem verlinkten TensorFlow.js-Plattformleitfaden. Vergleiche die dokumentierten Node.js- und Deno-Pfade, einschließlich des referenzierten WebGPU-Backends und der Laufzeitprobleme. Als erledigt gilt, dass das Skript für WebGPU-beschleunigte Tests in den unterstützten Laufzeitumgebungen ausgeführt werden kann und das Debugging von Speicherlecks möglich ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Lets make it possible to test WebGPU accelerated code via scripts, e.g. when running: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/lib/seqtasks/tiny_worlds_train_self_att.script.ts
This may help us debug memory leaks too.
Breadcrumbs:
General TFJS platform guide: https://www.tensorflow.org/js/guide/platform_environment
WebGPU support for tfjs:
TFJS Node support (references GPU support too, but for linux and windows, not yet mac)
Key issues for Deno (looks resolved... uses tfjs-backend-webgpu and seems to use Chrome GPU backend support):
- https://github.com/denoland/deno/issues/25874 : WebGPU adapter.info call fails after device creation [closed]
- https://github.com/denoland/deno/issues/28135 : GPUAdapter invalidation causes TensorFlow.js WebGPU backend to fail — Follow-up to [closed, but some discussion on if it can already be used...]
Possible alternative paths... webgpu for node and then make tfjs-node-gpu
- https://www.npmjs.com/package/webgpu & discussion about it in nodejs forum: https://github.com/orgs/nodejs/discussions/41994
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 24
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus PAIR-code/tiny-transformers
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
-
Add support for cross-entropy loss with integer labelsEvtl. wieder frei @aliciafmachado hat das vor 604 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#60 · 1 zugewiesene Person ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileEvtl. wieder frei @aliciafmachado hat das vor 636 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#54 · 1 zugewiesene Person ·
-
Add GPT2 tokenizerEvtl. wieder frei @aliciafmachado hat das vor 636 Tagen übernommen, und es ist kein Pull Request offen. Offen
PAIR-code/tiny-transformers#52 · 1 zugewiesene Person ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
Alle Issues in PAIR-code/tiny-transformers
Ähnliche Issues
-
Angle brackets are not tokenizer delimiters, so `<http://…>` fuses the opening bracket to the URLOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
maziyarpanahi/openmed#4204 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
-
icu-benchmarks evaluate --eval crashes on ML classifiers: unconditional model.set_weight() callOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
rvandewater/YAIB#206 ·
-
Non-positive worker counts wait for results without starting workersEvtl. vergeben @IlyaKhalafi hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Maintainer antworten meist innerhalb von 1 Tag