run-llama/LlamaIndexTS

Add support for streaming with Anthropic Tools

Aperta

#1322 aperta il 11 ott 2024

Vedi su GitHubGuida contributor
 (4 commenti) (2 reazioni) (0 assegnatari)TypeScript (524 fork)auto 404
enhancementgood first issuehelp wanted

Metriche repository

Star
 (3078 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

When using the Anthropic Agent with streaming: true, you get the error: "Anthropic does not support streaming . If you remove the code block https://github.com/run-llama/LlamaIndexTS/blob/45bcf51246a12ab8fc7adc974f29b352a398dc73/packages/llamaindex/src/agent/anthropic.ts#L37-L40 streaming does work fine but if you use tools, it says tools are not supported via Anthropic.

Anthropic does support streaming with tools and it would be great to get it integrated https://docs.anthropic.com/en/api/messages-streaming#streaming-request-with-tool-use

Guida contributor

Direzione di ricerca
Esamina l'implementazione corrente dell'agente Anthropic, rimuovi la restrizione sullo streaming e integra lo streaming di Anthropic con l'uso degli strumenti seguendo la loro documentazione sulle richieste di streaming con uso degli strumenti.
Tech stack
typescriptnodejs
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
TypeScriptAnthropic API
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60