Add (native) VECTOR data type support

Aperta
#158 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
55/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
javascript, sql
Ambito
databases

Direzione di ricerca

Inizia esaminando la gestione esistente dei tipi di dati e il supporto per ARRAY in sequelize-cockroachdb, quindi confronta le differenze nella sintassi di VECTOR in CockroachDB. Verifica che il supporto sia completo definendo una colonna VECTOR e testando inserimenti, aggiornamenti e query con array in virgola mobile senza il workaround STRING.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

More recent CockroachDB versions (I think 25+) added the data type VECTOR for storing fixed-length arrays of floating-point numbers, which represent data points in multi-dimensional space. It is often used for vector search in applications with LLMs, e.g. RAG (retrieval augmented generation). See the docs for more info.

As such, having support for this data type in sequelize-cockroachdb would be quite nice to enable such applications using CockroachDB, Sequelize and NodeJS.

The type VECTOR does not exist currently in sequelize-cockroachdb, also using ARRAY is not possible due to syntax mismatches between handling ARRAY and VECTOR in SQL. The workaround I'm using now (and documenting here for others stumbling upon this problem) is defining the column data type as STRING in the schema (but as VECTOR in the actual database) and then manually converting an array of floats to the format required by CockroachDB using JSON.stringify().

//Schema file
...
  embedding: {
    type: Sequelize.DataTypes.STRING, //Should be VECTOR when supported
    allowNull: true
  },
...

Inserting/updating data in this column can be done like this:

// Update data in VECTOR column
let embedding = [-0.03704405203461647,  0.024347146973013878,  -0.007968421094119549, ...];
await model.update({ embedding: JSON.stringify(embedding) });

Querying works with literals:

let queryEmbedding = [-0.03704405203461647,  0.024347146973013878,  -0.007968421094119549, ...];
let results = await model.findAll({
  where: Sequelize.literal(`embedding <=> '${JSON.stringify(queryEmbedding)}'::vector < 0.5`)
});
Lingua principale
JavaScript
Stelle
54
Fork
18
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di cockroachdb/sequelize-cockroachdb

Tutte le issue di cockroachdb/sequelize-cockroachdb

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.