1.10版本中发现连续Join时抛出数组越界异常

Offen

#304 erstellt am 19.4.2020 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 3/5
Geschätzter Aufwand: 1-2 Tage
Anfängerfreundlichkeit: 45/100

Issue-Typ: Bug
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: java, sql
Bereich: stream-processing

Rechercherichtung

Beginne in com.dtstack.flink.sql.side.ParserJoinField, insbesondere bei getAllField(JoinScope scope) etwa in den Zeilen 124–127, und reproduziere die gemeldete Abfrage mit zwei Joins auf dieselbe Dimensionstabelle. Vergleiche field.getFieldNames() mit field.getTotalFields(), wenn das Feld einen Row enthält, und überprüfe anschließend, dass die Abfrage keinen Array-Index-Fehler mehr auslöst.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

我将flinkStreamSql从1.8.1升级到1.10，原来可以运行的Join语句出错了。
tableA是源表， tableB 是维表，执行下面的语句
CREATE VIEW v_a_join_b AS
SELECT A.col_a1,A.col_a2,A.col_a3,B1.col_b as col_b1,B2.col_b as col_b2
FROM tableA AS A
LEFT JOIN tableB AS B1 ON A.col_a1 = B1.col_b
LEFT JOIN tableB AS B2 ON A.col_a2 = B2.col_b;
在com.dtstack.flink.sql.side.ParserJoinField类的
private static List getAllField(JoinScope scope) 方法中
会出现124行，String[] fieldNames = field.getFieldNames(); 只有两个字段f1,f2,其中f1是true，f2是Row其实包含了很多字段。但是在126行，field.getTotalFields()会是实际包含的字段数，这样在127行， String fieldName = fieldNames[i]; 就会抛出数组越界的异常。这个问题只在多次Join需要进行表转流，流转表的时候才会遇到。
UI5M81IRAH)Y3YB NRF6726

Vorherrschende Sprache: Java
Sterne: 2k
Forks: 913
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus DTStack/flinkStreamSQL

Flink SQL 使用滚动窗口，能不能获取到延迟数据，跟datastream一样，可以放到侧输出里面 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

DTStack/flinkStreamSQL#467 · 1 Kommentar · Erstellt am 27.9.2024
这个如何引入使用flink-connector-hive啊 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

DTStack/flinkStreamSQL#437 · 3 Kommentare · Erstellt am 25.2.2022
kudu sink writemode参数没填写报NULLPointerException Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 38/100

DTStack/flinkStreamSQL#432 · 1 Kommentar · Erstellt am 16.11.2021
新版FlinkStreamSQL已经融合进FlinkX项目 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

DTStack/flinkStreamSQL#431 · Erstellt am 01.11.2021
有无对sql 语法校验的方法 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

DTStack/flinkStreamSQL#430 · 1 Kommentar · Erstellt am 08.10.2021

Alle Issues in DTStack/flinkStreamSQL