Feature request: openai_compatible API_TYPE so any OpenAI-compatible endpoint works with no service class

Đang mở
  • Có gì không ổn?
#369 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
58/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
backend

Hướng nghiên cứu

Start by reading the custom-model path in the agents.yaml config and the model factory where service classes are registered (ufo/config and ufo/llm or similar module). Trace how API_BASE, API_KEY, and API_MODEL flow into an existing OpenAI-style service class, then add an openai_compatible API_TYPE that reuses it with no code required. Done means HOST_AGENT and APP_AGENT can point at any OpenAI-compatible endpoint purely via config.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi — I run DemonRoute (demonroute.com), an OpenAI-compatible API at https://api.demonroute.com/v1.

I will be direct about why I am here: we are talking to a lot of projects, because there is no large established provider for no-subscription, anonymous API keys for open-weight uncensored models. We are earning distribution one repo at a time.

UFO is a case where the current path is close but not quite open. Today the custom-model route in agents.yaml takes API_BASE, API_KEY, and API_MODEL, but using it still means writing a Python service class and registering it in the model factory. That is a real barrier for anyone who just wants to point HOST_AGENT or APP_AGENT at an OpenAI-compatible endpoint.

The feature ask: add an openai_compatible API_TYPE that sends standard chat-completions requests to API_BASE with API_KEY and API_MODEL, no code required. That would make any OpenAI-compatible provider work out of the box, DemonRoute included.

Why it matters for UFO users: every desktop step is an LLM call with screenshots attached, so cost adds up fast, and your own docs flag cost optimization. We carry Dolphin, MythoMax, Hermes, and abliterated Llama/Qwen builds that handle adversarial automation tasks without refusing, and we never train on user content. Nothing on a user's screen is ever used to train a model.

Who is behind it: during the NFT peak I became the largest NFT artist on the third-largest chain in the world, overnight, with zero funding. That turned into consulting for Fortune 500s, celebrities, and emerging tech companies. I run everything under NFT Demon Holdings LLC, and DemonRoute is my passion priority.

Reciprocal: any app that lists DemonRoute as a provider option gets listed on demonroute.com/integrations.

Jeremy, DemonRoute

Ngôn ngữ chính
Python
Star
10.2k
Fork
1.1k
Merge trung bình
1 phút
Pull request đã merge (30 ngày)
1

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/UFO

Tất cả issue của microsoft/UFO

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.