Storage-backed mode for LoroDoc — compaction without full in-memory materialization?

オープン
#940 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
30/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
静か
技術スタック
rust, sqlite

調査の方向性

まず、issue に記載されている Rust の snapshotter と LoroDoc のエントリーポイントを確認し、その後、コンパクションのためにシリアライズ済みドキュメントを読み込む際のメモリコストを比較します。実装前に、ストレージインターフェース、サポート対象のバックエンド、ストリーミングの挙動を明確にします。合意された設計と、目標のメモリ上限内でコンパクションが動作することを示すテストがあれば完了とします。

索引モデルが issue の本文から書いたものです。

説明

We use Loro for a collaborative editor with a Rust snapshotter that periodically compacts journal entries into a full snapshot. The problem is memory amplification — a ~5 MB serialized document expands to 600+ MB of RAM when loaded into LoroDoc for compaction, making it impractical in memory-constrained environments (e.g., Cloudflare Durable Objects at 128 MB).

Is there any consideration for a storage-backed mode (e.g., backed by SQLite or a trait Storage) where compaction could operate in a streaming/chunked fashion without materializing the entire document in RAM?

Thanks for the amazing work!

主要言語
Rust
スター
6.3k
フォーク
205
平均マージ
3日 18時間
マージ済み PR(30日)
45

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

loro-dev/loro のほかの issue

loro-dev/loro の issue をすべて見る

似ている issue

Rust の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。