need DataFrameChannel?
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- java, spark
- 領域
- data, machine-learning
調査の方向性
wayang-platforms/wayang-spark/code/main/java/org/apache/wayang/spark/operators/ml/SparkKMeansOperator.java から始め、特に DataFrameChannel の TODO 周辺にある getSupportedInputChannels と getSupportedOutputChannels を確認してください。既存の RddChannel の使用方法を読み、この operator に DataFrameChannel のサポートが必要かどうかを判断してください。完了とは、channel の選択と operator の動作に一貫性があり、未解決の問題が解決されていることを意味します。
索引モデルが issue の本文から書いたものです。
説明
need DataFrameChannel?
/*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
package org.apache.wayang.spark.operators.ml;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.ml.clustering.KMeans;
import org.apache.spark.ml.clustering.KMeansModel;
import org.apache.spark.ml.linalg.Vector;
import org.apache.spark.ml.linalg.Vectors;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.wayang.basic.data.Tuple2;
import org.apache.wayang.basic.operators.KMeansOperator;
import org.apache.wayang.core.optimizer.OptimizationContext;
import org.apache.wayang.core.plan.wayangplan.ExecutionOperator;
import org.apache.wayang.core.platform.ChannelDescriptor;
import org.apache.wayang.core.platform.ChannelInstance;
import org.apache.wayang.core.platform.lineage.ExecutionLineageNode;
import org.apache.wayang.core.util.Tuple;
import org.apache.wayang.spark.channels.RddChannel;
import org.apache.wayang.spark.execution.SparkExecutor;
import org.apache.wayang.spark.operators.SparkExecutionOperator;
import java.util.*;
public class SparkKMeansOperator extends KMeansOperator implements SparkExecutionOperator {
public SparkKMeansOperator(int k) {
super(k);
}
public SparkKMeansOperator(KMeansOperator that) {
super(that);
}
@Override
public List<ChannelDescriptor> getSupportedInputChannels(int index) {
// TODO need DataFrameChannel?
return Arrays.asList(RddChannel.UNCACHED_DESCRIPTOR, RddChannel.CACHED_DESCRIPTOR);
}
@Override
public List<ChannelDescriptor> getSupportedOutputChannels(int index) {
// TODO need DataFrameChannel?
return Collections.singletonList(RddChannel.UNCACHED_DESCRIPTOR);
}
@Override
public Tuple<Collection<ExecutionLineageNode>, Collection<ChannelInstance>> evaluate(
ChannelInstance[] inputs,
ChannelInstance[] outputs,
SparkExecutor sparkExecutor,
OptimizationContext.OperatorContext operatorContext) {
assert inputs.length == this.getNumInputs();
assert outputs.length == this.getNumInputs();
final RddChannel.Instance input = (RddChannel.Instance) inputs[0];
final RddChannel.Instance output = (RddChannel.Instance) outputs[0];
final JavaRDD<double[]> inputRdd = input.provideRdd();
final JavaRDD<Data> dataRdd = inputRdd.map(Data::new);
final Dataset<Row> df = SparkSession.builder().getOrCreate().createDataFrame(dataRdd, Data.class);
final KMeansModel model = new KMeans()
.setK(this.k)
.fit(df);
final Dataset<Row> transform = model.transform(df);
final JavaRDD<Tuple2<double[], Integer>> outputRdd = transform.toJavaRDD()
.map(row -> new Tuple2<>(((Vector) row.get(0)).toArray(), (Integer) row.get(1)));
this.name(outputRdd);
output.accept(outputRdd, sparkExecutor);
return ExecutionOperator.modelLazyExecution(inputs, outputs, operatorContext);
}
// TODO support fit and transform
@Override
public boolean containsAction() {
return false;
}
public static class Data {
private final Vector features;
public Data(Vector features) {
this.features = features;
}
public Data(double[] features) {
this.features = Vectors.dense(features);
}
public Vector getFeatures() {
return features;
}
@Override
public String toString() {
return "Data{" +
"features=" + features +
'}';
}
@Override
public boolean equals(Object o) {
if (this == o) return true;
if (!(o instanceof Data)) return false;
Data data = (Data) o;
return Objects.equals(features, data.features);
}
@Override
public int hashCode() {
return Objects.hash(features);
}
}
}
bf0ae8055e229f8ccd3f6550b68ee2be4bde3acc
- 主要言語
- Java
- スター
- 284
- フォーク
- 147
- 平均マージ
- 2日 13時間
- マージ済み PR(30日)
- 13
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/wayang のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信
-
JavaReservoirSampleOperator returns the whole input when the dataset size is unknown対応中かも @sasmith-14 が 7 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/wayang#884 · コメント 3 件 ·
メンテナーはふだん 2 日以内に返信
-
Record.compareTo() throws ClassCastException when comparing records対応中かも @harshitsingh070 が 69 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()対応中かも @AliRana30 が 77 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
apache/wayang#732 · コメント 3 件 ·
メンテナーはふだん 2 日以内に返信
-
DISCLAIMER and some "(incubating)" references are still around after graduation対応中かも @sasmith-14 が 1 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 66/100
apache/wayang#895 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
jenkins-infra/plugin-modernizer-tool#2070 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Event search answers 500 when calendars, attendees or organizers holds a null element再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンai-driven-qa bug Minor
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
linagora/twake-calendar-side-service#1615 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
eclipse-tradista/tradista#371 ·
メンテナーはふだん 1 日以内に返信
-
critical
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
mars-sim/mars-sim#2199 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
projeto-ong-amar/projeto-ong-amar-backend#26 ·
メンテナーはふだん 1 日以内に返信