Importing certain databases from zip are extremely slow
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- typescript, vscode
- 領域
- tooling
調査の方向性
まずデータベースのインポートパスと現在のストリーミング unzipper を追跡し、多数の小さなファイルを含むアーカイブについて、ファイルヘッダーの読み取りとセントラルディレクトリの検索を比較します。大規模なデータベースアーカイブのインポートが大幅に高速化され、ファイルヘッダーが正しくないアーカイブも引き続き処理できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
I can't share the database because it is private, but this database is less than 1GB zipped and about 3.4GB unzipped. Importing this database took over 1.5 hours to completion. I think the problem has to do with the fact that there are over 100,000 source files. First, these files need to be unzipped and placed in a directory. Then we need to re-zip them into a src.zip file. Our current unzipper library uses streaming, but it does read each file into memory separately.
It's possible that the slowness is exacerbated by the fix here: https://github.com/github/vscode-codeql/issues/622. Rather than read the zip in a single pass, we read the zips central directory and then grab each file based on what we find there.
I implemented this fix because some archives do not have correct file headers. The central directory is the source of truth and it exists at the end of the file. This happens when a zip file is updated after it is created.
Most of the time reading the file headers will be correct (except when they aren't). And that is likely faster than the central directory approach, especially when there are lots of small files. So, one possible solution would be to try reading via the file headers first and if that fails, fall back to the central directory.
- 主要言語
- TypeScript
- スター
- 539
- フォーク
- 240
- 平均マージ
- 2日 18時間
- マージ済み PR（30日）
- 37
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
github/vscode-codeql のほかの issue
-
bug VSCode
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
github/vscode-codeql#4471 · コメント 1 件 ·
-
bug enhancement VSCode
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
github/vscode-codeql#592 · コメント 2 件 ·
-
enhancement VSCode
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
github/vscode-codeql#4432 · コメント 1 件 ·
-
bug VSCode
難易度 3/5 1〜2日 初心者へのやさしさ 52/100
github/vscode-codeql#4356 ·
-
bug VSCode
難易度 3/5 1〜2日 初心者へのやさしさ 64/100
github/vscode-codeql#4339 · コメント 1 件 ·
github/vscode-codeql の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
bug v2
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
modelcontextprotocol/inspector#2458 · コメント 1 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
railmapgen/rmp-gallery#4068 ·
-
Mend: dependency security vulnerability status: needs triage 🕵️♀️
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
carbon-design-system/ibm-products#9907 ·