ggml-org/llama.cpp

Request: Nougat OCR Integration

Offen

#3.294 geöffnet am 21.09.2023

Auf GitHub ansehenContributor Guide
 (8 Kommentare) (13 Reaktionen) (0 zugewiesene Personen)C++ (21.825 Forks)batch import
help wantedmodel

Repository-Metriken

Stars
 (124.401 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Request: Nougat OCR Integration

I suggest adding Nougat OCR into llama.cpp to enable the processing of scientific PDF documents. This can act as a first step towards adding multimodal models to this project!

Implementation: It seems that Nougat is based on standard transformer architecture (like Bart and Swin Transformer) and most of the work would be on figuring out how to add the image processing.

Let me know what you think! P.S.: Love this repo! I hope to add my own retrieval-pretrained transformer at some point to this repo.

Contributor Guide

Research-Richtung
Untersuchen Sie die Nougat Architektur und ihre Abhängigkeiten. Bestimmen Sie, wie die Bildverarbeitung in die bestehende llama.cpp Codebasis integriert werden kann, möglicherweise durch Hinzufügen eines neuen Modelltyps oder die Integration einer externen Bibliothek. Überprüfen Sie ähnliche PRs oder Issues, die neue Modelle hinzugefügt haben.
Tech Stack
cpp
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
C++CMakeGitBasic knowledge of transformer architectures
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40