need DataFrameChannel?
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- java, spark
- Área
- data, machine-learning
Línea de trabajo
Empieza por wayang-platforms/wayang-spark/code/main/java/org/apache/wayang/spark/operators/ml/SparkKMeansOperator.java, especialmente por getSupportedInputChannels y getSupportedOutputChannels en torno a los TODO de DataFrameChannel. Lee el uso existente de RddChannel y determina si este operador requiere compatibilidad con DataFrameChannel. Se considera terminado cuando la elección del canal y el comportamiento del operador son coherentes y la cuestión abierta ha quedado resuelta.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
need DataFrameChannel?
/*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
package org.apache.wayang.spark.operators.ml;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.ml.clustering.KMeans;
import org.apache.spark.ml.clustering.KMeansModel;
import org.apache.spark.ml.linalg.Vector;
import org.apache.spark.ml.linalg.Vectors;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.wayang.basic.data.Tuple2;
import org.apache.wayang.basic.operators.KMeansOperator;
import org.apache.wayang.core.optimizer.OptimizationContext;
import org.apache.wayang.core.plan.wayangplan.ExecutionOperator;
import org.apache.wayang.core.platform.ChannelDescriptor;
import org.apache.wayang.core.platform.ChannelInstance;
import org.apache.wayang.core.platform.lineage.ExecutionLineageNode;
import org.apache.wayang.core.util.Tuple;
import org.apache.wayang.spark.channels.RddChannel;
import org.apache.wayang.spark.execution.SparkExecutor;
import org.apache.wayang.spark.operators.SparkExecutionOperator;
import java.util.*;
public class SparkKMeansOperator extends KMeansOperator implements SparkExecutionOperator {
public SparkKMeansOperator(int k) {
super(k);
}
public SparkKMeansOperator(KMeansOperator that) {
super(that);
}
@Override
public List<ChannelDescriptor> getSupportedInputChannels(int index) {
// TODO need DataFrameChannel?
return Arrays.asList(RddChannel.UNCACHED_DESCRIPTOR, RddChannel.CACHED_DESCRIPTOR);
}
@Override
public List<ChannelDescriptor> getSupportedOutputChannels(int index) {
// TODO need DataFrameChannel?
return Collections.singletonList(RddChannel.UNCACHED_DESCRIPTOR);
}
@Override
public Tuple<Collection<ExecutionLineageNode>, Collection<ChannelInstance>> evaluate(
ChannelInstance[] inputs,
ChannelInstance[] outputs,
SparkExecutor sparkExecutor,
OptimizationContext.OperatorContext operatorContext) {
assert inputs.length == this.getNumInputs();
assert outputs.length == this.getNumInputs();
final RddChannel.Instance input = (RddChannel.Instance) inputs[0];
final RddChannel.Instance output = (RddChannel.Instance) outputs[0];
final JavaRDD<double[]> inputRdd = input.provideRdd();
final JavaRDD<Data> dataRdd = inputRdd.map(Data::new);
final Dataset<Row> df = SparkSession.builder().getOrCreate().createDataFrame(dataRdd, Data.class);
final KMeansModel model = new KMeans()
.setK(this.k)
.fit(df);
final Dataset<Row> transform = model.transform(df);
final JavaRDD<Tuple2<double[], Integer>> outputRdd = transform.toJavaRDD()
.map(row -> new Tuple2<>(((Vector) row.get(0)).toArray(), (Integer) row.get(1)));
this.name(outputRdd);
output.accept(outputRdd, sparkExecutor);
return ExecutionOperator.modelLazyExecution(inputs, outputs, operatorContext);
}
// TODO support fit and transform
@Override
public boolean containsAction() {
return false;
}
public static class Data {
private final Vector features;
public Data(Vector features) {
this.features = features;
}
public Data(double[] features) {
this.features = Vectors.dense(features);
}
public Vector getFeatures() {
return features;
}
@Override
public String toString() {
return "Data{" +
"features=" + features +
'}';
}
@Override
public boolean equals(Object o) {
if (this == o) return true;
if (!(o instanceof Data)) return false;
Data data = (Data) o;
return Objects.equals(features, data.features);
}
@Override
public int hashCode() {
return Objects.hash(features);
}
}
}
bf0ae8055e229f8ccd3f6550b68ee2be4bde3acc
- Lenguaje dominante
- Java
- Estrellas
- 284
- Forks
- 147
- Merge medio
- 2 d 13 h
- PR fusionados (30 d)
- 13
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/wayang
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
JavaReservoirSampleOperator returns the whole input when the dataset size is unknownPosiblemente ocupada @sasmith-14 la tomó hace 7 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/wayang#884 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
Record.compareTo() throws ClassCastException when comparing recordsPosiblemente ocupada @harshitsingh070 la tomó hace 69 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()Posiblemente ocupada @AliRana30 la tomó hace 77 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/wayang#732 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
DISCLAIMER and some "(incubating)" references are still around after graduationPosiblemente ocupada @sasmith-14 la tomó hace 1 día. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
apache/wayang#895 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 2 días
Todos los issues de apache/wayang
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
jenkins-infra/plugin-modernizer-tool#2070 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Event search answers 500 when calendars, attendees or organizers holds a null elementQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertoai-driven-qa bug Minor
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
linagora/twake-calendar-side-service#1615 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
eclipse-tradista/tradista#371 ·
Los mantenedores suelen responder en 1 día
-
Failed to start Rescue missionAbiertocritical
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
mars-sim/mars-sim#2199 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
[BUG-02] Endpoints /assistente/relatorio/*/preview retornam 404 ("Ver na tela" dos relatórios)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
projeto-ong-amar/projeto-ong-amar-backend#26 ·
Los mantenedores suelen responder en 1 día