simonw/datasette

Explore if SquashFS can be used to shrink size of packaged Docker containers

Open

#327 ouverte le 24 juin 2018

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Python (8 637 stars) (625 forks)batch import
help wantedresearch

Description

Inspired by this article: https://cldellow.com/2018/06/22/sqlite-parquet-vtable.html#sqlite-database-indexed--squashed

https://en.wikipedia.org/wiki/SquashFS is "a compressed read-only file system for Linux" - which means it could be a really nice fit for Datasette and its read-only SQLite databases.

It would be interesting to explore a Dockerfile recipe that used SquashFS to compress the SQLite database file that was bundled up by datasette package and friends.

Guide contributeur

Stack technique
pythondockersqlite
Domaine
backenddevopsperformance
Type d'issue
research
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 days
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
Docker basicsPythonSQLiteSquashFS concept
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
20
Direction de recherche
Investigate how SquashFS can be used to compress SQLite databases in Docker containers built by `datasette package`. Examine the current Dockerfile generation in datasette (likely in `datasette/package.py`). Experiment with adding a SquashFS compression step for the database file and measure size reduction. Consider trade offs in read performance and compatibility. Review the linked article for inspiration and check for any existing discussions or PRs in the repository.