ggml-org/llama.cpp

Request: Nougat OCR Integration

Ouverte

#3 294 ouverte le 21 sept. 2023

Voir sur GitHubGuide contributeur
 (8 commentaires) (13 réactions) (0 personne assignée)C++ (21 764 forks)batch import
help wantedmodel

Métriques du dépôt

Stars
 (124 134 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Request: Nougat OCR Integration

I suggest adding Nougat OCR into llama.cpp to enable the processing of scientific PDF documents. This can act as a first step towards adding multimodal models to this project!

Implementation: It seems that Nougat is based on standard transformer architecture (like Bart and Swin Transformer) and most of the work would be on figuring out how to add the image processing.

Let me know what you think! P.S.: Love this repo! I hope to add my own retrieval-pretrained transformer at some point to this repo.

Guide contributeur

Direction de recherche
Étudiez l'architecture de Nougat et ses dépendances. Déterminez comment intégrer le traitement d'image dans le code existant de llama.cpp, éventuellement en ajoutant un nouveau type de modèle ou en intégrant une bibliothèque externe. Consultez les PR ou issues similaires qui ont ajouté de nouveaux modèles.
Stack technique
cpp
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
C++CMakeGitBasic knowledge of transformer architectures
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40