Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Testing Center custom `string_comparison` evaluation errors on the JSONPath the server itself generates from `$.generatedData.outcome`

Đang mở
  • Có gì không ổn?
#3,636 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Lĩnh vực
cli, testing-qa

Hướng nghiên cứu

Không có tệp mã nguồn hoặc bài kiểm thử nào được nêu. Hãy bắt đầu bằng cách tái hiện việc đánh giá string_comparison tùy chỉnh với tham chiếu $.generatedData.outcome đã được tài liệu hóa và kiểm tra cách máy chủ viết lại và phân tích đường dẫn đó. Được xem là hoàn tất khi tham chiếu được đánh giá thành công, ánh xạ tới một đường dẫn có thể phân tích hoặc bị từ chối khi tạo với một lỗi rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:afdx investigating owned by another team validated

CLI Version:
@salesforce/cli/2.149.9

Architecture:
win32-arm64

Node Version:
node-v24.14.1

Plugin Version:
@oclif/plugin-autocomplete 3.2.56 (core)
@oclif/plugin-commands 4.1.63 (core)
@oclif/plugin-help 6.2.58 (core)
@oclif/plugin-not-found 3.2.93 (core)
@oclif/plugin-plugins 5.4.87 (core)
@oclif/plugin-search 1.2.54 (core)
@oclif/plugin-update 4.7.59 (core)
@oclif/plugin-version 2.2.57 (core)
@oclif/plugin-warn-if-update-available 3.1.73 (core)
@oclif/plugin-which 3.2.61 (core)
@salesforce/cli 2.149.9 (core)
agent 2.0.5 (user)
apex 4.1.0 (core)
api 2.0.9 (core)
auth 5.0.6 (core)
code-analyzer 5.12.0 (user)
data 5.1.5 (core)
deploy-retrieve 4.1.2 (core)
info 4.0.9 (core)
limits 4.0.3 (core)
marketplace 2.0.5 (core)
org 6.0.9 (core)
packaging 3.0.5 (core)
schema 4.0.5 (core)
settings 3.0.5 (core)
sobject 2.0.5 (core)
telemetry 4.0.5 (core)
templates 57.0.9 (core)
trust 4.0.9 (core)
user 5.0.1 (core)

OS and Version:
Windows_NT 10.0.26200

Shell:
powershell

Summary

A custom evaluation asserting on the agent's response text is unusable: the
server rewrites the documented $.generatedData.outcome reference into a
filter-expression JSONPath and then fails to parse its own rewrite.

Test case YAML (per the documented shape):

customEvaluations:
  - label: "response contains estimat"
    name: string_comparison
    parameters:
      - name: operator
        value: contains
        isReference: false
      - name: actual
        value: "$.generatedData.outcome"
        isReference: true
      - name: expected
        value: "estimat"
        isReference: false
Actual result

The evaluation returns status: ERROR on every case:

"errorMessage": "Error parsing JSONPath
'$.outputs[?(@.type == 'general.echo')].payload.planner_response.lastExecution.outcome'"

i.e. the server maps $.generatedData.outcome to a path containing a
filter expression [?(@.type == '...')], and the JSONPath implementation
evaluating it rejects filter syntax. The author's input is well-formed; the
failing path is generated internally.

Expected result

Either the generated path parses, or $.generatedData.outcome maps to a
filter-free path, or the reference is rejected at test-create time with a
clear message. An ERROR status at run time on the documented reference makes
deterministic response-text assertions impossible in Testing Center.

Why it matters

The LLM-judged expectedOutcome is lenient (see reproduction context in the
related issues: an agent whose instruction clause was removed still passed a
judge rubric that named the missing behavior). string_comparison is the
platform's only deterministic assertion over response text — precisely the
tool needed when the judge is too soft — and it errors as documented.

Environment
  • sf CLI: <paste sf version --verbose>
  • Org: Agentforce Developer Edition (orgfarm-*.develop.my.salesforce.com)
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
571
Fork
80
Merge trung bình
1 ngày 18 giờ
Pull request đã merge (30 ngày)
6

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của forcedotcom/cli

Tất cả issue của forcedotcom/cli

Issue tương tự

Thêm issue về CLI

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.