Add end-to-end coverage for LibreSign AI integrations
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Start by reading the AI foundation epic and the existing LibreSign Task Processing integration and tests; the issue names no specific files or test entry points. Map the shared AI path and existing Nextcloud AI test patterns, then add deterministic coverage first and assess whether provider-contract and local-model smoke tests add unique value. Done means normal PR CI covers stable shared-path and security contracts without paid APIs or assertions on generated prose.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Goal
Add layered end-to-end and integration coverage that proves LibreSign AI features work through the real Nextcloud integration path without making ordinary CI depend on paid APIs or unstable generated prose.
This issue is part of the AI foundation epic.
Test layers
Use three complementary layers.
1. Deterministic pull-request coverage
Use the LibreSign deterministic Task Processing provider/test double for fast, exact and reproducible behavior.
Cover representative end-to-end flows such as:
- capability unavailable;
- capability available and policy allowed;
- capability available and policy denied;
- successful task/result;
- failure and retry/recovery behavior;
- invalid/hostile output;
- relevant cancellation/asynchronous behavior;
- frontend visibility/action state follows backend capability and policy.
This layer should be suitable for normal pull-request CI.
2. Provider integration contract
Where feasible, exercise LibreSign through an official Nextcloud provider integration against a deterministic local compatible endpoint/test backend.
The purpose is to cover:
LibreSign -> OCP Task Processing -> provider integration -> provider protocol -> Task Processing result
without paid/network-dependent model calls.
Only add this layer if it materially covers behavior that the deterministic provider cannot.
3. Real local-AI smoke coverage
Use a small number of real local-provider smoke tests where this adds confidence.
Follow the patterns used by Nextcloud AI applications such as llm2:
https://github.com/nextcloud/llm2
Use CPU execution/model caching where practical and avoid making generated wording an assertion.
Real-model tests should check stable invariants such as:
- task completes successfully;
- expected output shape is present;
- file/document input reaches the supported task path;
- structured output can be parsed/validated;
- security/policy invariants remain enforced.
Initially this layer may run on relevant paths, main/nightly or a dedicated workflow if its runtime is not appropriate for every pull request.
Context Chat precedent
For future retrieval work, follow the ACL/lifecycle style of the official Context Chat integration tests:
https://github.com/nextcloud/context_chat
That includes proving content is unavailable without access and removed from retrieval after access/delete changes.
Do not implement future Context Chat tests in this foundation issue before that feature exists.
Flake/cost policy
- No paid API requirement for required CI.
- No assertion on exact natural-language output from a real model.
- Pin/cache model/test infrastructure where appropriate.
- Keep real-model smoke scenarios few and contract-focused.
- A provider outage must not make normal pull-request CI nondeterministic.
Security scenarios
Ensure the layered test architecture can exercise:
- prompt-injection-like document content;
- malformed structured output;
- unsafe generated markup where a feature consumes markup;
- cross-user task/result access;
- policy denial;
- provider absence/failure.
Feature-specific adversarial cases remain the responsibility of the feature's implementation issues.
Done when
- Normal PR CI has deterministic end-to-end coverage of the shared AI path.
- The Task Processing boundary is exercised beyond unit mocks.
- Provider integration is covered where it adds unique value.
- A focused real local-AI smoke path exists where feasible and justified.
- Required CI does not depend on paid external AI.
- Tests assert stable contracts rather than exact real-model prose.
- Security/authorization failure paths are represented in the test architecture.
- Ngôn ngữ chính
- PHP
- Star
- 844
- Fork
- 176
- Merge trung bình
- 14 giờ 3 phút
- Pull request đã merge (30 ngày)
- 344
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của LibreSign/libresign
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
OpenSSL engine: leaf certificates get O=Internet Widgits Pty Ltd, ST=Some-State from system openssl.cnfCó thể đã có người làm @vitormattos đã nhận 5 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
LibreSign/libresign#9366 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 83/100
LibreSign/libresign#9007 · 2 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
LibreSign/libresign#8284 · 5 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
frontend javascript technical debt
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của LibreSign/libresign
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
Automattic/blocks-engine#6318 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[remove-resource] Delete Open Course Hub, Open Multicourse Hub, and Learn2 with GitSync skeletonsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
-
Allow @ in the service nameĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
-
35-feedback
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày