1.10版本 无法使用WATERMARK ，报空指针。
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
調査の方向性
issue の CREATE TABLE ステートメントと、Flink 1.10 のログにある CustomerWaterMarkerForLong エラーから始めてください。UNIX_TIMESTAMP から派生した bigint フィールドと WATERMARK 構文を、1.10 でサポートされている動作と比較してください。報告されたスキーマに完全に動作する WATERMARK の例があり、null ポインターエラーが発生しなくなれば完了です。
索引モデルが issue の本文から書いたものです。
説明
日志样例
{"time":"2020-06-17 23:00:01.211","pushid":"pushback_send-BC110-12392212311","app":"mm"}
由于时间序列是bigint类型，用UNIX_TIMESTAMP进行转换
Flink运行日志报错：
ERROR com.dtstack.flink.sql.watermarker.CustomerWaterMarkerForLong -
java.lang.NullPointerException
建表语句：
CREATE TABLE MyTable (
time varchar ,
pushid varchar ,
app varchar ,
UNIX_TIMESTAMP(time, 'yyyy-MM-dd HH:mm:ss')*1000 bigint AS xctime ,
WATERMARK FOR xctime AS withOffset( xctime , 1000)
)
WITH (
type='kafka11',
bootstrapServers='kafka:9092',
offsetReset='latest',
topic='test_1',
groupId='flink_sql',
parallelism='4',
timezone='Asia/Shanghai',
topicIsPattern ='false',
sourcedatatype ='dt_nest'
);
CREATE TABLE MyResult(
app VARCHAR,
cnt BIGINT,
wStart timestamp
)WITH(
type ='elasticsearch6',
address ='eshost:9200',
cluster='bigdata-es5.6',
estype ='date',
index ='MyResult',
parallelism ='1',
id='0'
);
insert into MyResult
select
d.app ,
count(d.pushid) cnt ,
TUMBLE_START(d.ROWTIME, INTERVAL '3' SECOND) as wStart
from
MyTable as d
group by d.app,TUMBLE(d.ROWTIME, INTERVAL '3' SECOND);
可否提供一份完整的1.10版本 WATERMARK 语法案例。实际测试中无法使用
- 主要言語
- Java
- スター
- 2k
- フォーク
- 913
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
DTStack/flinkStreamSQL のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
DTStack/flinkStreamSQL#467 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
DTStack/flinkStreamSQL#437 · コメント 3 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
DTStack/flinkStreamSQL#432 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#430 · コメント 1 件 ·
DTStack/flinkStreamSQL の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
elastic/gradle-plugins#157 ·
-
enhancement Tools
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
apache/rocketmq-dashboard#5008 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
DETECT_PARAMETER_NAMES=false silently disables @ConstructorProperties-based Creator detection too オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
FasterXML/jackson-databind#6229 ·