YamlReporter: structuredOutput is stored as a JSON-encoded string inside a block scalar, not as native YAML data
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Tranquilo
- Stack tecnológico
- typescript, yaml
- Área
- tooling
Línea de trabajo
Empieza en src/reporters/yaml.ts e inspecciona la prueba existente del reporter YAML, que actualmente solo comprueba subcadenas serializadas. Ejecuta esa prueba antes de cambiar la ruta structuredOutput. El trabajo estará terminado cuando un parser YAML devuelva structuredOutput como un objeto con los mismos datos anidados que la entrada, mientras el comportamiento existente del reporte permanece intacto.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Observed behavior
When a successful result includes structuredOutput, YamlReporter.append serialises it by JSON.stringify'ing the value and writing the resulting text into a YAML block scalar:
// src/reporters/yaml.ts
if (result.structuredOutput !== undefined) {
lines.push('structuredOutput: |');
const json = JSON.stringify(result.structuredOutput, null, 2);
for (const line of formatBlockScalar(json).split('\n')) {
lines.push(line === '' ? /* istanbul ignore next */ '' : ` ${line}`);
}
}
A consumer parsing the report file with any YAML loader gets back structuredOutput as a string containing JSON, not as the structured object the agent produced. To use the data they have to do a second JSON.parse step that they would not have to do for any other field in the report.
This is inconsistent with JsonlReporter, which spreads the result into the output line:
// src/reporters/jsonl.ts
const output = `${JSON.stringify({ ...prompt, ...result })}\n`;
For the JSONL reporter, structuredOutput round-trips as a nested object, so a consumer can read entry.structuredOutput.found directly. Switching the configured reporter from JSONL to YAML (or to the default, which is YAML) silently changes the shape of structuredOutput from "structured object" to "JSON-encoded string".
The existing test only asserts that the YAML contains the substrings "found": true and "a.ts": "bug", so the bug is not caught.
Expected behavior
structuredOutput is documented in src/types.ts as "the parsed object that conforms to the schema". A reporter that persists a result entry should preserve that shape: parsing the YAML report should yield an object, not a string. This is also what users will expect from a structured-data report format.
Minimal reproduction
import { mkdtemp, readFile } from 'node:fs/promises';
import { tmpdir } from 'node:os';
import { join } from 'node:path';
import { parseAllDocuments } from 'yaml';
import { YamlReporter } from 'loop-the-loop/reporters/yaml';
const dir = await mkdtemp(join(tmpdir(), 'yaml-structured-bug-'));
const reporter = await YamlReporter.create({ outputDir: dir, jobName: 'demo' });
await reporter.append(
{ id: 'a', prompt: 'p' },
{
status: 'success',
output: 'ok',
structuredOutput: { found: true, items: ['a', 'b'] },
},
);
const text = await readFile(join(dir, 'demo-report.yaml'), 'utf-8');
const obj = parseAllDocuments(text)[0].toJS();
console.log(typeof obj.structuredOutput); // 'string'
console.log(obj.structuredOutput.found); // undefined
console.log(JSON.parse(obj.structuredOutput).found); // true
Suggested fix
Emit structuredOutput as native YAML so it round-trips as an object. The minimal change is to use a YAML serializer for this single field (the rest of the entry could stay hand-written for now):
import { stringify } from 'yaml';
if (result.structuredOutput !== undefined) {
// `stringify` returns a trailing newline; indent under the parent key
const yaml = stringify(result.structuredOutput, { indent: 2 });
lines.push('structuredOutput:');
for (const line of yaml.trimEnd().split('\n')) {
lines.push(` ${line}`);
}
}
The longer-term fix is to delegate serialization of the whole entry to a YAML library, which also resolves the related issues #69 (id field not escaped) and #75 (block scalar indent bug). A test that round-trips structuredOutput through a real YAML parser and asserts deep-equality with the input would prevent regression.
- Lenguaje dominante
- TypeScript
- Estrellas
- 2
- Forks
- 1
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de joewalker/loop-the-loop
-
bug S4
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
joewalker/loop-the-loop#88 ·
-
Git exec(): child killed by a signal rejects with new Error('') and loses the signal informationAbiertobug S3
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
joewalker/loop-the-loop#84 ·
-
bug S3
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
joewalker/loop-the-loop#83 ·
-
bug S3
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
joewalker/loop-the-loop#82 ·
-
bug S4
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
joewalker/loop-the-loop#79 ·
Todos los issues de joewalker/loop-the-loop
Issues similares
-
frontend
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
ranxianglei/billion-context#4172 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
awslabs/threat-composer#362 ·
Los mantenedores suelen responder en 1 día
-
Area/Cloud Needs Triage Type/Bug
Dificultad 1/5 1-3 horas Aptitud para principiantes 86/100
wso2/product-integrator#2847 ·
Los mantenedores suelen responder en 1 día