lancedb/lancedb

Feature: to_lance method in asynchronous table python api

Fechada

#1.387 aberto em 19 de jun. de 2024

Ver no GitHubGuia do colaborador
 (1 comentário) (1 reação) (0 responsável)HTML (876 forks)batch import
Rustenhancementgood first issue

Métricas do repositório

Stars
 (10.303 estrelas)
Métricas de merge de PR
 (Mesclagem média 2d 17h) (82 fundiu PRs em 30d)

Description

SDK

Python

Description

Currently, in python api, "to_lance" method that returns a pyarrow dataset is only supported in synchronous table. I was wondering if "to_lance" method can be exposed for asynchronous tables as well.

For using third party tools like duckdb, pyarrow dataset is preferred over pyarrow tables as "Arrow Datasets allow for full column selection and filter pushdowns, unlike Arrow tables which are eagerly loaded into memory."

Since the newly introduced lance v2 is supported only in asynchronous tables , and since asynchronous tables do not have a to_lance method, we are not able to evaluate features like filter pushdowns, when using lance v2 tables against duckdb.

Guia do colaborador

Direção de pesquisa
Examine a implementação síncrona existente do to lance na classe de tabela síncrona e adapte a para a classe de tabela assíncrona, garantindo o uso adequado de métodos assíncronos e o tratamento de operações vinculadas a I/O.
Pilha de tecnologia
python
Domain
databasebackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonasyncio
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60