Support for external taggers
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- php
- Área
- api, backend, machine-learning
Línea de trabajo
Comienza rastreando cómo recognize invoca actualmente sus etiquetadores integrados y cómo fluyen los datos de imagen y las etiquetas por la aplicación PHP. Compara ese flujo con la solicitud POST y la respuesta JSON propuestas, incluida la configuración del endpoint, el modelo y el umbral. El trabajo estará terminado cuando se pueda seleccionar un servicio externo y utilizar las etiquetas que devuelve sin eliminar los etiquetadores integrados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the feature you'd like to request
Given how limiting the built-in AI models can be it would be nice if it was possible to add external taggers that could be used instead of the built-in ones.
Describe the solution you'd like
A possible solution is using web requests to communicate with external web servers where the image can be sent over and the server can respond with tags that match the image. This will allow to use different models that aren't implemented in the recognize app itself and also stronger models that may not work in docker setups or the host hardware.
For example the https://github.com/AUTOMATIC1111/stable-diffusion-webui project hosts a web server that can generate images locally. Using the extension https://github.com/picobyte/stable-diffusion-webui-wd14-tagger and --api option, a user can send a POST request with any image encoded in base64 and get a json response of all tags in it including weights on how much the image matches set tags.
One the external setup is complete the process is simple:
- Convert the image to base64 data
- Craft it into a javascript object. (eg.
{"image": "data:image/<type>;base64,<image data>", "model": "<model name>", "threshold": 0.35}) - Create a POST request to a target link (eg. "
http://127.0.0.1:7860/tagger/v1/interrogate") - Get a response like:
{
"caption": {
"tag": {
"tag1": 0.6852931380271912,
"tag2": 0.6729011535644531,
"tag3": 0.46537110209465027,
"tag4": 0.5044106245040894
}
}
}
I don't know any other image tagging software that can be interacted using web requests but I think it's a nice start. Even if its only for object tagging.
I wish I could provide a pull request with this option but unfortunately I'm not skilled enough to write clean PHP code with the nextcloud API.
Describe alternatives you've considered
Implementing new models into the app itself is time consuming and slow. And making them work with the limited dependencies of the nextcloud environment and docker instances is even harder.
- Lenguaje dominante
- PHP
- Estrellas
- 699
- Forks
- 68
- Merge medio
- 18 h 34 min
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de nextcloud/recognize
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
insertDeletion looks up recognize_fs_deletions by node_id alone, which no index covers — bulk removals scan the whole table per filePosiblemente ocupada @marcelklehr la tomó hace 8 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
-
Model download button in UIAbiertoenhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
-
Recognize maintenance routine unnecessarily redownloads Tensorflow CPU and GPU models every timeQuizá libre de nuevo @marcelklehr la tomó hace 189 días y no hay ningún pull request abierto. Abiertobug
Todos los issues de nextcloud/recognize
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
FriendsOfFlarum/best-answer#137 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
shukiv/jabali-panel#2041 · 1 comentario · 1 reacción ·
Los mantenedores suelen responder en 1 día