Kotlin DataFrame plugin: `unfold` and `toDataFrame` with properties give an empty schema

Đang mở
  • Có gì không ổn?
#2,115 1 bình luận 0 reaction 2 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@koperagen đang làm issue này rồi.

Từ ngày 29/9/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

When DataFrame.unfold or Iterable.toDataFrame get a list of properties, the plugin derives an empty
schema for the result. At runtime the result has columns, and none of them can be accessed through the
generated accessors.

Reproduce
data class Name(val firstName: String, val lastName: String)

data class Score(val subject: String, val value: Int)

data class Student(val name: Name, val age: Int, val scores: List<Score>)

val df = dataFrameOf(
    "id" to listOf(1, 2),
    "student" to listOf(
        Student(Name("Alice", "Cooper"), 15, listOf(Score("math", 4), Score("biology", 3))),
        Student(Name("Bob", "Marley"), 20, listOf(Score("music", 5))),
    ),
    "year" to listOf(2021, 2022),
)

val unfolded = df.unfold(Student::name, Student::age) { student }
unfolded.compileTimeSchema() // empty
unfolded.schema()            // id: Int, student: { name: Name, age: Int }, year: Int

val fromList = listOf(Student(Name("Alice", "Cooper"), 15, emptyList())).toDataFrame(Student::age)
fromList.compileTimeSchema() // empty
fromList.schema()            // age: Int

Without properties the schemas match: df.unfold(maxDepth = 1) { student } and toDataFrame() give the same
schema at compile time and at runtime. The tests for both cases are in Kotlin/dataframe,
samples/src/test/kotlin/org/jetbrains/kotlinx/dataframe/plugin/UnfoldCompileTimeSchemaTests.kt
(issue 1, case 5): unfold with roots … and toDataFrame with properties …, both @Ignored.

What we see in the source
  • DataFrameUnfold (kotlin-dataframe.k2/.../impl/api/unfold.kt) declares val Arguments.properties by ignore(),
    but the parameter of DataFrame.unfold is called roots.
  • ToDataFrame (.../impl/api/toDataFrame.kt) does not declare the props parameter of
    Iterable.toDataFrame(vararg props: KProperty<*>, maxDepth: Int) at all.

We think the interpreters cannot match the vararg argument, so the interpretation fails and the plugin falls
back to an empty schema. We did not confirm this in the plugin itself.

Suggested fix

Read the property references the way Exclude1 and Preserve1 already do, and keep only the columns for
those properties:

class DataFrameUnfold : AbstractSchemaModificationInterpreter() {
    val Arguments.receiver: PluginDataFrameSchema by dataFrame()
    val Arguments.roots: FirVarargArgumentsExpression by arg(lens = Interpreter.Id)
    val Arguments.maxDepth: Int by arg(defaultValue = Present(0))
    val Arguments.columns: ColumnsResolver by arg()

    override fun Arguments.interpret(): PluginDataFrameSchema {
        val rootNames = roots.arguments
            .filterIsInstance<FirCallableReferenceAccess>()
            .map { it.calleeReference.name.identifier }
        return receiver.modify(impliedColumnsResolver = columns) {
            replace { columns }.with {
                val column = it.asSimpleColumn() as? SimpleDataColumn
                if (column == null || !column.type.coneType.canBeUnfolded(session)) {
                    it
                } else {
                    val unfolded = toDataFrame(maxDepth, column.type.coneType, TraverseConfiguration.EMPTY).columns()
                    val kept = if (rootNames.isEmpty()) unfolded else unfolded.filter { col -> col.name in rootNames }
                    SimpleColumnGroup(it.name(), kept).asDataColumn()
                }
            }
        }
    }
}

This is a sketch: we did not compile it. Two things to check:

  • how a missing vararg argument is passed (the default is no roots);
  • that the column name is the property name. It is not for @ColumnName properties and for getters like
    getX(), so it is safer to filter by the property symbol than by the name.

ToDataFrame needs the same change for props.

Changes to make together with Kotlin/dataframe #2114

When the library fixes land, the plugin has to change in the same release, or the compile-time schema will
differ from the runtime one:

  • roots on a column of simple values (issue 1, case 1): when roots are given, do not return the column
    unchanged just because canBeUnfolded is false for its type.
  • a column of lists of objects (issue 1, case 3): derive a SimpleFrameColumn from the element type
    instead of a column group with size.
  • maps (issue 1, case 4): isValueType matches StandardClassIds.Map / MutableMap exactly. Match
    subtypes of Map, so that it stays aligned with the library's KClass.isValueType.
Ngôn ngữ chính
Kotlin
Star
1.1k
Fork
87
Merge trung bình
2 ngày 21 giờ
Pull request đã merge (30 ngày)
40

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Kotlin/dataframe

Tất cả issue của Kotlin/dataframe

Issue tương tự

Thêm issue về Kotlin

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.