incorporate fields later for projectable table scans
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Comienza con wayang-api/wayang-api-sql/src/main/java/org/apache/wayang/api/sql/sources/fs/JavaCSVTableSource.java, especialmente con el miembro fields comentado y los puntos de entrada evaluate/createStream/parseLine. Rastrea cómo se representan en otras partes de la integración SQL los escaneos de tablas proyectables y, a continuación, incorpora los campos seleccionados para que los escaneos proyectados produzcan los registros esperados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
incorporate fields later for projectable table scans
private final ImmutableIntList fields;
/*
* Licensed to the Apache Software Foundation (ASF) under one or more
* contributor license agreements. See the NOTICE file distributed with
* this work for additional information regarding copyright ownership.
* The ASF licenses this file to you under the Apache License, Version 2.0
* (the "License"); you may not use this file except in compliance with
* the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
package org.apache.wayang.api.sql.sources.fs;
import org.apache.calcite.rel.type.RelDataType;
import org.apache.commons.io.IOUtils;
import org.apache.wayang.basic.channels.FileChannel;
import org.apache.wayang.basic.data.Record;
import org.apache.wayang.core.api.exception.WayangException;
import org.apache.wayang.core.optimizer.OptimizationContext;
import org.apache.wayang.core.plan.wayangplan.ExecutionOperator;
import org.apache.wayang.core.plan.wayangplan.UnarySource;
import org.apache.wayang.core.platform.ChannelDescriptor;
import org.apache.wayang.core.platform.ChannelInstance;
import org.apache.wayang.core.platform.lineage.ExecutionLineageNode;
import org.apache.wayang.core.types.DataSetType;
import org.apache.wayang.core.util.Tuple;
import org.apache.wayang.core.util.fs.FileSystem;
import org.apache.wayang.core.util.fs.FileSystems;
import org.apache.wayang.core.util.fs.FileUtils;
import org.apache.wayang.java.channels.StreamChannel;
import org.apache.wayang.java.execution.JavaExecutor;
import org.apache.wayang.java.operators.JavaExecutionOperator;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UncheckedIOException;
import java.util.*;
import java.util.function.Function;
import java.util.stream.Stream;
import java.util.stream.StreamSupport;
public class JavaCSVTableSource<T> extends UnarySource<T> implements JavaExecutionOperator {
private final String sourcePath;
private final List<RelDataType> fieldTypes;
// TODO: incorporate fields later for projectable table scans
// private final ImmutableIntList fields;
public JavaCSVTableSource(String sourcePath, DataSetType type, List<RelDataType> fieldTypes) {
super(type);
this.sourcePath = sourcePath;
this.fieldTypes = fieldTypes;
}
/*public JavaCSVTableSource(DataSetType<T> type) {
this(null, type);
}*/
@Override
public Tuple<Collection<ExecutionLineageNode>, Collection<ChannelInstance>> evaluate(
ChannelInstance[] inputs,
ChannelInstance[] outputs,
JavaExecutor javaExecutor,
OptimizationContext.OperatorContext operatorContext) {
assert outputs.length == this.getNumOutputs();
final String path;
if (this.sourcePath == null) {
final FileChannel.Instance input = (FileChannel.Instance) inputs[0];
path = input.getSinglePath();
} else {
assert inputs.length == 0;
path = this.sourcePath;
}
final String actualInputPath = FileSystems.findActualSingleInputPath(path);
Stream<T> stream = this.createStream(actualInputPath);
((StreamChannel.Instance) outputs[0]).accept(stream);
return ExecutionOperator.modelLazyExecution(inputs, outputs, operatorContext);
}
private Stream<T> createStream(String actualInputPath) {
Function<String, T> parser = this::parseLine;
return streamLines(actualInputPath).map(parser);
}
private T parseLine(String s) {
Class typeClass = this.getType().getDataUnitType().getTypeClass();
assert typeClass == Record.class;
try {
String[] tokens = CsvRowConverter.parseLine(s);
if (tokens.length != fieldTypes.size()) {
throw new IllegalStateException(String.format("Error while parsing CSV file %s at line %s", sourcePath, s));
}
final Object[] objects = new Object[tokens.length];
for (int i = 0; i < tokens.length; i++) {
objects[i] = CsvRowConverter.convert(fieldTypes.get(i), tokens[i]);
}
return (T) new Record(objects);
} catch (IOException e) {
System.out.println(e.getMessage());
}
throw new IllegalStateException(String.format("Error while parsing CSV file %s at line %s", sourcePath, s));
}
@Override
public List<ChannelDescriptor> getSupportedInputChannels(int index) {
return Collections.singletonList(FileChannel.HDFS_TSV_DESCRIPTOR);
}
@Override
public List<ChannelDescriptor> getSupportedOutputChannels(int index) {
assert index <= this.getNumOutputs() || (index == 0 && this.getNumOutputs() == 0);
return Collections.singletonList(StreamChannel.DESCRIPTOR);
}
/**
* Copied from {@link FileUtils} as a quick work around to read CSV file after skipping
* header row.
*
* Creates a {@link Stream} of a lines of the file.
*
* @param path of the file
* @return the {@link Stream}
*/
private static Stream<String> streamLines(String path) {
final FileSystem fileSystem = FileSystems.getFileSystem(path).orElseThrow(
() -> new IllegalStateException(String.format("No file system found for %s", path))
);
try {
Iterator<String> lineIterator = createLineIterator(fileSystem, path);
lineIterator.next(); // skip header row
return StreamSupport.stream(Spliterators.spliteratorUnknownSize(lineIterator, 0), false);
} catch (IOException e) {
throw new WayangException(String.format("%s failed to read %s.", FileUtils.class, path), e);
}
}
/**
* Creates an {@link Iterator} over the lines of a given {@code path} (that resides in the given {@code fileSystem}).
*/
private static Iterator<String> createLineIterator(FileSystem fileSystem, String path) throws IOException {
final BufferedReader reader = new BufferedReader(new InputStreamReader(fileSystem.open(path), "UTF-8"));
return new Iterator<String>() {
String next;
{
this.advance();
}
private void advance() {
try {
this.next = reader.readLine();
} catch (IOException e) {
this.next = null;
throw new UncheckedIOException(e);
} finally {
if (this.next == null) {
IOUtils.closeQuietly(reader);
}
}
}
@Override
public boolean hasNext() {
return this.next != null;
}
@Override
public String next() {
assert this.hasNext();
final String returnValue = this.next;
this.advance();
return returnValue;
}
};
}
}
2b1aef4e9a7503c7e7f9987af1737a27fe565f78
- Lenguaje dominante
- Java
- Estrellas
- 284
- Forks
- 147
- Merge medio
- 2 d 13 h
- PR fusionados (30 d)
- 13
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/wayang
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
JavaReservoirSampleOperator returns the whole input when the dataset size is unknownPosiblemente ocupada @sasmith-14 la tomó hace 7 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/wayang#884 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
Record.compareTo() throws ClassCastException when comparing recordsPosiblemente ocupada @harshitsingh070 la tomó hace 69 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()Posiblemente ocupada @AliRana30 la tomó hace 77 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/wayang#732 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
DISCLAIMER and some "(incubating)" references are still around after graduationPosiblemente ocupada @sasmith-14 la tomó hace 1 día. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
apache/wayang#895 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 2 días
Todos los issues de apache/wayang
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
jenkins-infra/plugin-modernizer-tool#2070 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Event search answers 500 when calendars, attendees or organizers holds a null elementQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertoai-driven-qa bug Minor
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
linagora/twake-calendar-side-service#1615 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
eclipse-tradista/tradista#371 ·
Los mantenedores suelen responder en 1 día
-
Failed to start Rescue missionAbiertocritical
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
mars-sim/mars-sim#2199 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
[BUG-02] Endpoints /assistente/relatorio/*/preview retornam 404 ("Ver na tela" dos relatórios)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
projeto-ong-amar/projeto-ong-amar-backend#26 ·
Los mantenedores suelen responder en 1 día