reworkd/AgentGPT

🤖 Investigate utilizing local models

Open

#19 geöffnet am 11. Apr. 2023

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)TypeScript (34.594 Stars) (9.446 Forks)batch import
help wanted

Beschreibung

This is a big undertaking. As a user, I'd like to be able to use my own local models to not be crippled by limitations of OpenAI models. The opensource model scene is getting huge and we want to support this as best as possible. The issue is, given we are a product first and foremost, connection to local models must work in both prod and dev and must be as simple as possible to setup.

One option is WindowAI: https://twitter.com/xanderatallah/status/1643356106670981122. This is an extension that will allow a site to connect to a model locally.

Before implementing anything, we should first investigate possibilities and report back in this issue.

Contributor Guide

Tech Stack
typescript
Domain
ai
Issue Type
research
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
needs investigation
Voraussetzungen
Basic knowledge of local AI modelsUnderstanding of browser extensions
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30
Research-Richtung
Investigate options for integrating local models, starting with WindowAI (browser extension). Evaluate ease of setup for both development and production environments. Report findings with recommendations for implementation path.