[FEATURE]: LLM Observability & Admin Audit Dashboard (LangSmith)
@innovate-with-ravi ci sta già lavorando.
Dal 19/10/2026.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 18/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Stack tecnologico
- fastapi, nextjs, python, typescript
- Ambito
- backend, frontend, observability
Direzione di ricerca
The payload names no concrete files. It points to the Groq LLM calls added in PR #158, a FastAPI backend and a Next.js App Router route at /admin/audit. Before any code, the scope needs maintainer agreement: whether LangSmith is the right tool, how the route is protected, and what the telemetry endpoint returns. Done is not defined yet.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Feature and its Use Cases
Context
As Perspective scales its LLM pipelines (especially with the recent Groq integrations in PR #158 and upcoming dynamic features), we currently lack visibility into prompt execution, token usage, latency, and cost tracking.
I am proposing the integration of LangSmith for LLM Observability & Tracing, alongside a native Next.js Admin Dashboard so maintainers can monitor AI performance without leaving the application.
Proposed High-Level Architecture
- Backend Tracing Layer (FastAPI + LangSmith):
- Integrate the LangSmith SDK into the Python backend.
- Wrap the Groq LLM calls to automatically log prompt inputs, outputs, token counts, and execution latency.
- Frontend Admin Dashboard (Next.js 15):
- Build a protected
/admin/auditroute in the Next.js App Router. - Design a clean UI to visualize token usage, average response times, and a table of recent AI generations.
- Build a protected
- API Integration:
- Create a dedicated FastAPI endpoint that fetches the telemetry data from LangSmith and serves it securely to the frontend dashboard.
Experience & Next Steps
I have worked extensively with LangSmith and recently implemented this exact observability dashboard architecture for an AI project during a hackathon, so I can port that setup over here efficiently.
This is a high-level architectural draft. Once assigned, I will flesh out the exact UI components, route protection strategy, and backend telemetry setup.
I would love to take ownership of this feature as part of my contributions for GSoC 2027. Let me know if you agree with this direction!
Additional Context
Here's a small proof of work:
Code of Conduct
- I have joined the Discord server and will post updates there
- I have searched existing issues to avoid duplicates
- Lingua principale
- TypeScript
- Stelle
- 58
- Fork
- 90
- Merge medio
- 11h 51m
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AOSSIE-Org/Perspective
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
AOSSIE-Org/Perspective#191 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
AOSSIE-Org/Perspective#190 ·
-
[BUG]: Missing input validation in URlRequest and ChatQuery causes 500 crashes and wasteful scraper executionForse già presa @agarwalpranav0711 l’ha presa 25 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
AOSSIE-Org/Perspective#178 ·
-
[BUG]: chunk_rag_data crashes with ValueError when perspective is a dict, silently dropping RAG vector storageForse già presa @agarwalpranav0711 l’ha presa 36 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
AOSSIE-Org/Perspective#175 ·
-
[BUG]: Scraper passes headers as query params in requests.get (User-Agent never sent)Forse già presa @Th-Shivam l’ha presa 50 giorni fa. Apertabug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
AOSSIE-Org/Perspective#161 · 1 commento ·
Tutte le issue di AOSSIE-Org/Perspective
Issue simili
-
documentation lens:human needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
thebristolsound/birdbrain#2246 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
A voting window past about 69.9 million hours stores a deadline that reads back as no deadlineApertabug ready-for-human
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
BoardGamesEmpire/board-games-empire-backend#1452 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue stretch
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno