Evaluate minimal reasoning for OpenAI PDF remediation latency

Đang mở
  • Có gì không ổn?
#101 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
csharp
Lĩnh vực
ai, backend-api-design

Hướng nghiên cứu

Start by locating the migration branch's Responses API calls for PDF title generation, table classification, character encoding repair, and ActualText repair. Build a repeatable timing and quality comparison using the listed reasoning levels, then document task-specific recommendations and add tests if minimal reasoning becomes the default.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Context

While migrating PDF remediation calls from Chat Completions to the Responses API, we ran a small real-API timing smoke test against gpt-5-mini to compare low vs minimal reasoning effort for lightweight remediation tasks.

The current migration branch uses low reasoning effort for Responses API calls to preserve the original intent of reducing latency while keeping reasoning enabled.

Smoke test results

Measured with gpt-5-mini, timing only the awaited API service call. Prompts were simple title generation and table classification samples.

Previous baseline
  • Chat Completions with medium reasoning was reportedly averaging about 7s per call.
Responses API with low reasoning

A 5-call smoke run across title and table classification showed:

  • Title service: avg 2.23s, median 1.84s, range 1.69s to 3.38s
  • Table classification: avg 2.40s, median 2.07s, range 2.01s to 3.75s
  • Combined: avg 2.31s, median 2.07s

A later 3-iteration comparison run showed:

  • Title low avg: 3.26s
  • Table classification low avg: 2.27s
Responses API with minimal reasoning

Same 3-iteration comparison run:

  • Title minimal avg: 0.92s
  • Table classification minimal avg: 1.70s

Sample outputs looked acceptable in the tiny smoke test:

  • Minimal title: UC Davis PDF Accessibility Remediation Guide
  • Minimal table classification: data_table, confidence 0.9
Responses API with none reasoning

none is not supported by gpt-5-mini. The API returned:

Unsupported value: 'none' is not supported with the 'gpt-5-mini' model. Supported values are: 'minimal', 'low', 'medium', and 'high'.

Investigation goals

  • Decide whether text-only remediation calls should use minimal reasoning instead of low reasoning.
  • Evaluate latency and quality for at least:
    • PDF title generation
    • table classification
    • character encoding repair
    • ActualText repair
  • Keep image alt text separate unless/until alt-text quality evals support changing it.
  • Confirm whether any deployed model choices support none, and whether none is appropriate for any remediation task.

Acceptance criteria

  • A repeatable timing/eval script or test harness exists for comparing reasoning effort levels.
  • Results include latency distributions and representative quality samples.
  • Recommendation is documented for each OpenAI-backed remediation task.
  • If minimal reasoning is adopted, defaults are changed with tests covering the selected effort level.
Ngôn ngữ chính
C#
Star
1
Fork
0
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

  • Không có Dockerfile hay tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ucdavis/readable

Tất cả issue của ucdavis/readable

Issue tương tự

Thêm issue về C#

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.