LCTT/Grank

GraphQL 无法根据时间抓取特定时间点的项目

Open

#12 aberto em 1 de out. de 2018

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (37 forks)user submission
enhancementhelp wanted

Métricas do repositório

Stars
 (237 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

目前项目使用 GraphQL 来进行数据抓取，但 GraphQL 的数据分页参数 after 接受的是一个特定的指针，而非特定的时间,因此无法直接对特定时间的数据进行抓取，从而只抓取特定时间端内的 commit 数据。

目前的数据抓取是通过抓取一个项目所有的数据并在后续的分析时进行时间隔离的。

可能导致的问题

  1. 对于 commit /pr 特别多的项目，可能无法在一次请求中抓取到所有的数据。目前脚本暂无断点续抓的代码

Guia do colaborador

Direção de pesquisa
Consulte a documentação da API GraphQL do GitHub para paginação usando timestamps e implemente uma função para converter timestamps em valores de cursor ou use parâmetros de filtro para buscar commits dentro de um intervalo de tempo específico.
Pilha de tecnologia
pythongraphql
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPythonGraphQL
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40