Support for RleListMatrix (?)

Offen

#62 erstellt am 28.2.2020 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: r
Bereich: data

Rechercherichtung

Prüfe zunächst das verwandte Issue #27 und das Beispiel DelayedArray/VariantAnnotation. Untersuche, ob eine RleListMatrix eine nützliche Komprimierung für Matrizen aus Listen bieten würde, und lege anschließend die erforderlichen Support- und Validierungskriterien fest. Als erledigt gilt die Aufgabe, wenn ein vereinbarter Implementierungsumfang und Belege dafür vorliegen, dass die Repräsentation vorteilhaft ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Related to #27, though I note that the following now works

library(DelayedArray)
DelayedArray(
  matrix(
    IntegerList(
      c(list(c(1L, 1L)), list(c(1L,1L)), list(c(1L,1L)), list(c(2L,2L)))
    ), 
    nrow = 2, ncol = 2)
)
#> <2 x 2> matrix of class DelayedMatrix and type "list":
#>      [,1] [,2]
#> [1,] 1, 1 1, 1
#> [2,] 1, 1 2, 2

^{Created on 2020-02-28 by the reprex package (v0.3.0)}

Is there a motivation to support RleListMatrix? For the same use case as above, I'm using VariantAnnotation to build a CompressedVcf object and it has matrices of lists. The list elements are in many cases NA so it may be efficient to be able to store these as an Rle-derived object. I can't go as far as to verify that such a structure would benefit from Rle - would the elements be sufficiently contiguous?

My workaround at the moment is to collapse the list elements into single delimited strings, in which case DelayedArray or RleMatrix work out of the box. In this case the string concatenation results in the matrix object decreasing in size by a factor of ~8 (potentially due to global string pooling). Converting to RleMatrix reduces it again by an additional factor of ~16. Total compression from matrix of lists to character RleMatrix is 128x. If RleListMatrix was able provide a comparable benefit without converting to string then that could be very useful.

I'll link another issue to this one specific to VariantAnnotation, but I thought I'd check if this was a) possible; b) useful; and c) of interest.

Ping @lawremi who first proposed investigating support for this structure.

Vorherrschende Sprache: R
Sterne: 29
Forks: 12
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Bioconductor/DelayedArray

Conversion to dgCMatrix Causes Segmentation Fault Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

Bioconductor/DelayedArray#129 · 11 Kommentare · Erstellt am 10.9.2026
Custom delayed operations Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

Bioconductor/DelayedArray#127 · 1 Kommentar · Erstellt am 22.5.2026
the supplied seed must support extract_array() Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

Bioconductor/DelayedArray#125 · 1 Kommentar · Erstellt am 13.10.2025
Summation of ConstantArray of 0 with vector of 0's fails Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

Bioconductor/DelayedArray#123 · Erstellt am 05.3.2025
Proposal to migrate `DelayedMask` to the DelayedArray package Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

Bioconductor/DelayedArray#122 · Erstellt am 23.1.2025

Alle Issues in Bioconductor/DelayedArray