simonw/datasette

Explore if SquashFS can be used to shrink size of packaged Docker containers

Open

#327 aberto em 24 de jun. de 2018

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Python (8.637 stars) (625 forks)batch import
help wantedresearch

Description

Inspired by this article: https://cldellow.com/2018/06/22/sqlite-parquet-vtable.html#sqlite-database-indexed--squashed

https://en.wikipedia.org/wiki/SquashFS is "a compressed read-only file system for Linux" - which means it could be a really nice fit for Datasette and its read-only SQLite databases.

It would be interesting to explore a Dockerfile recipe that used SquashFS to compress the SQLite database file that was bundled up by datasette package and friends.

Guia do colaborador

Pilha de tecnologia
pythondockersqlite
Domain
backenddevopsperformance
Tipo Issue
research
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
Docker basicsPythonSQLiteSquashFS concept
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20
Direção de pesquisa
Investigate how SquashFS can be used to compress SQLite databases in Docker containers built by `datasette package`. Examine the current Dockerfile generation in datasette (likely in `datasette/package.py`). Experiment with adding a SquashFS compression step for the database file and measure size reduction. Consider trade offs in read performance and compatibility. Review the linked article for inspiration and check for any existing discussions or PRs in the repository.