resolver="llm" merges on a non-bool reply and raises AttributeError on a dict

Abierto Apto para principiantes
#334 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
77/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
typescript

Línea de trabajo

Empieza en src/selfgraph/resolution.py, en LLMResolver.resolve, y compara cómo gestiona su respuesta con _checked_output, que, según indica el issue, acepta respuestas dict. Revisa las pruebas existentes sobre el comportamiento del resolver y las salidas no válidas del LLM; después, añade cobertura para un valor no booleano de same y para respuestas dict o ausentes. El trabajo estará terminado cuando las respuestas no válidas generen ExtractionError con el código invalid_llm_output y las válidas sigan resolviéndose correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

approved-for-pr area: errors area: extraction bug effort: S P2

What happens

LLMResolver reads answer.same from the client's reply and branches on its truthiness. Nothing validates the reply:

  • A reply whose same is a non-empty string such as "no" or "false" merges the two entities.
  • A dict reply ({"same": False}), None, or an object without same raises a raw AttributeError out of insert.facts / insert.text, not a SelfGraphError.

The extraction path accepts dict replies (_checked_output validates them), so a client that returns dicts works for extraction and breaks resolution.

Reproduce

On main (5a277c9), embedded Kuzu. "Globex" and "Globex Systems" score 0.886, inside the default band, so the resolver asks the LLM.

import asyncio, tempfile
from types import SimpleNamespace
from selfgraph import KuzuStore, SelfGraph

class LLM:
    def __init__(self, reply):
        self.reply = reply

    async def generate(self, *, system, user, output):
        return self.reply if output.__name__ == "_SameEntity" else output()

async def run(reply):
    with tempfile.TemporaryDirectory() as tmp:
        async with SelfGraph(store=KuzuStore(f"{tmp}/g.kuzu"), llm=LLM(reply), resolver="llm") as g:
            await g.insert.facts({"entities": [{"type": "Person", "name": "Globex"}]})
            try:
                r = await g.insert.facts({"entities": [{"type": "Person", "name": "Globex Systems"}]})
                print(repr(reply), "merges:", [(m.absorbed_id, m.survivor_id) for m in r.merges])
            except Exception as exc:
                print(repr(reply), type(exc).__name__, exc)

for reply in [SimpleNamespace(same="no"), {"same": False}, None]:
    asyncio.run(run(reply))

Output:

namespace(same='no') merges: [('person:globex-systems', 'person:globex')]
{'same': False} AttributeError 'dict' object has no attribute 'same'
None AttributeError 'NoneType' object has no attribute 'same'

Cause

src/selfgraph/resolution.py, LLMResolver.resolve: answer = await self._llm.generate(...) then if answer.same:. It should validate the reply as _SameEntity (strict bool, accepting a mapping or attributes as extraction does) and raise ExtractionError with code invalid_llm_output when it cannot.

Lenguaje dominante
TypeScript
Estrellas
173
Forks
58
Merge medio
6 h
PR fusionados (30 d)
120

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de hydra-db/selfgraph

Todos los issues de hydra-db/selfgraph

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.