Request permission to use InferenceX benchmark results in ConfigIQ

Đang mở
  • Có gì không ổn?
#4,655 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
Dưới một giờ
Mức phù hợp với người mới
18/100
Loại issue
Tài liệu
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, pytorch
Lĩnh vực
data, documentation

Hướng nghiên cứu

This is a licensing and permission question rather than a code change: the issue asks whether SemiAnalysis approves private storage, public attributed display, and weekly API refresh of benchmark results, and it points to the API docs and Section 7 of the general terms. A newcomer would read the linked terms and API documentation and check for any stated license, attribution or rate-limit rules. Done means a maintainer has answered the permission question in the thread.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi InferenceX team,

The ConfigIQ team is developing a Compare page that shows measured inference performance alongside AISimulators predictions across concurrency levels.

We would like to add InferenceX as a separately labeled measurement source on ConfigIQ’s comparison page. If approved, we propose to:

  1. Fetch selected published single-turn 8192-input / 1024-output-token results using /api/v1/availability, /api/v1/views/options, and /api/v1/benchmarks.
  2. Normalize the selected results and store them in a private Hugging Face dataset so ConfigIQ can load configuration options.
  3. Display selected measurements on ConfigIQ’s public comparison charts alongside our measurements and AISimulators predictions. We would clearly attribute the data to InferenceX/SemiAnalysis and link to the original benchmark runs. The private dataset would not be offered as a public download.
  4. Refresh the private dataset from your API approximately once a week.

The API documentation describes accessing and exporting data for analysis, but we could not determine whether it permits this specific workflow. Section 7 of SemiAnalysis’s general terms also raises a question about scheduled API collection.

Would SemiAnalysis approve these uses: private storage of a normalized subset, public display of selected measurements with attribution, and a weekly API refresh? Are there license, attribution, or request-frequency requirements we should follow? Thanks.

Ngôn ngữ chính
Python
Star
1.9k
Fork
343
Merge trung bình
2 ngày 40 phút
Pull request đã merge (30 ngày)
431

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SemiAnalysisAI/InferenceX

Tất cả issue của SemiAnalysisAI/InferenceX

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.