need DataFrameChannel?
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- java, spark
- Ambito
- data, machine-learning
Direzione di ricerca
Inizia da wayang-platforms/wayang-spark/code/main/java/org/apache/wayang/spark/operators/ml/SparkKMeansOperator.java, in particolare da getSupportedInputChannels e getSupportedOutputChannels intorno ai TODO di DataFrameChannel. Esamina l’utilizzo esistente di RddChannel e determina se per questo operatore è necessario il supporto di DataFrameChannel. Il lavoro è completato quando la scelta del canale e il comportamento dell’operatore sono coerenti e la questione aperta è stata risolta.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
need DataFrameChannel?
/*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
package org.apache.wayang.spark.operators.ml;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.ml.clustering.KMeans;
import org.apache.spark.ml.clustering.KMeansModel;
import org.apache.spark.ml.linalg.Vector;
import org.apache.spark.ml.linalg.Vectors;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.wayang.basic.data.Tuple2;
import org.apache.wayang.basic.operators.KMeansOperator;
import org.apache.wayang.core.optimizer.OptimizationContext;
import org.apache.wayang.core.plan.wayangplan.ExecutionOperator;
import org.apache.wayang.core.platform.ChannelDescriptor;
import org.apache.wayang.core.platform.ChannelInstance;
import org.apache.wayang.core.platform.lineage.ExecutionLineageNode;
import org.apache.wayang.core.util.Tuple;
import org.apache.wayang.spark.channels.RddChannel;
import org.apache.wayang.spark.execution.SparkExecutor;
import org.apache.wayang.spark.operators.SparkExecutionOperator;
import java.util.*;
public class SparkKMeansOperator extends KMeansOperator implements SparkExecutionOperator {
public SparkKMeansOperator(int k) {
super(k);
}
public SparkKMeansOperator(KMeansOperator that) {
super(that);
}
@Override
public List<ChannelDescriptor> getSupportedInputChannels(int index) {
// TODO need DataFrameChannel?
return Arrays.asList(RddChannel.UNCACHED_DESCRIPTOR, RddChannel.CACHED_DESCRIPTOR);
}
@Override
public List<ChannelDescriptor> getSupportedOutputChannels(int index) {
// TODO need DataFrameChannel?
return Collections.singletonList(RddChannel.UNCACHED_DESCRIPTOR);
}
@Override
public Tuple<Collection<ExecutionLineageNode>, Collection<ChannelInstance>> evaluate(
ChannelInstance[] inputs,
ChannelInstance[] outputs,
SparkExecutor sparkExecutor,
OptimizationContext.OperatorContext operatorContext) {
assert inputs.length == this.getNumInputs();
assert outputs.length == this.getNumInputs();
final RddChannel.Instance input = (RddChannel.Instance) inputs[0];
final RddChannel.Instance output = (RddChannel.Instance) outputs[0];
final JavaRDD<double[]> inputRdd = input.provideRdd();
final JavaRDD<Data> dataRdd = inputRdd.map(Data::new);
final Dataset<Row> df = SparkSession.builder().getOrCreate().createDataFrame(dataRdd, Data.class);
final KMeansModel model = new KMeans()
.setK(this.k)
.fit(df);
final Dataset<Row> transform = model.transform(df);
final JavaRDD<Tuple2<double[], Integer>> outputRdd = transform.toJavaRDD()
.map(row -> new Tuple2<>(((Vector) row.get(0)).toArray(), (Integer) row.get(1)));
this.name(outputRdd);
output.accept(outputRdd, sparkExecutor);
return ExecutionOperator.modelLazyExecution(inputs, outputs, operatorContext);
}
// TODO support fit and transform
@Override
public boolean containsAction() {
return false;
}
public static class Data {
private final Vector features;
public Data(Vector features) {
this.features = features;
}
public Data(double[] features) {
this.features = Vectors.dense(features);
}
public Vector getFeatures() {
return features;
}
@Override
public String toString() {
return "Data{" +
"features=" + features +
'}';
}
@Override
public boolean equals(Object o) {
if (this == o) return true;
if (!(o instanceof Data)) return false;
Data data = (Data) o;
return Objects.equals(features, data.features);
}
@Override
public int hashCode() {
return Objects.hash(features);
}
}
}
bf0ae8055e229f8ccd3f6550b68ee2be4bde3acc
- Lingua principale
- Java
- Stelle
- 284
- Fork
- 147
- Merge medio
- 2g 13h
- PR unite (30g)
- 13
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/wayang
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
JavaReservoirSampleOperator returns the whole input when the dataset size is unknownForse già presa @sasmith-14 l’ha presa 7 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
apache/wayang#884 · 3 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Record.compareTo() throws ClassCastException when comparing recordsForse già presa @harshitsingh070 l’ha presa 69 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()Forse già presa @AliRana30 l’ha presa 77 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
apache/wayang#732 · 3 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
DISCLAIMER and some "(incubating)" references are still around after graduationForse già presa @sasmith-14 l’ha presa 1 giorno fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 66/100
apache/wayang#895 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di apache/wayang
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
jenkins-infra/plugin-modernizer-tool#2070 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Event search answers 500 when calendars, attendees or organizers holds a null elementForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaai-driven-qa bug Minor
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
linagora/twake-calendar-side-service#1615 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
eclipse-tradista/tradista#371 ·
I maintainer di solito rispondono entro 1 giorno
-
critical
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
mars-sim/mars-sim#2199 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG-02] Endpoints /assistente/relatorio/*/preview retornam 404 ("Ver na tela" dos relatórios)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
projeto-ong-amar/projeto-ong-amar-backend#26 ·
I maintainer di solito rispondono entro 1 giorno