通过Yarn模式提交任务时报错Caused by: java.lang.ClassNotFoundException: com.dtstack.flink.sql.source.kafka.KafkaConsumer010
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- java, kafka, mysql
調査の方向性
submit.sh と、-remoteSqlPluginPath および -localSqlPluginPath を介して渡されるプラグインディレクトリから始め、次に -mode yarn で指定されたコマンドを再現します。Yarn の送信時に KafkaConsumer010 がどのようにロードされるかを確認します。同じ SQL ジョブが報告された ClassNotFoundException なしで送信できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
### sql文件内容如下:
CREATE TABLE sourceKafkaTable(
id int as id,
name varchar as name
)WITH(
type ='kafka10',
bootstrapServers ='spark01:9092,spark02:9092',
zookeeperQuorum ='spark01:2181,spark02:2181/brokers',
offsetReset ='latest',
topic ='flink1',
parallelism ='1'
);
CREATE TABLE sideMysqlTable(
id int,
cname varchar,
PRIMARY KEY(id),
PERIOD FOR SYSTEM_TIME
)WITH(
type='mysql',
url='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName='root',
password='6666526',
tableName='side_order',
cache ='LRU',
cacheSize ='10000',
cacheTTLMs ='60000',
parallelism ='1',
partitionedJoin='false'
);
CREATE TABLE sinkMysqlTable(
id int,
name varchar,
cname varchar
)WITH(
type ='mysql',
url ='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName ='root',
password ='6666526',
tableName ='result_order',
parallelism ='1'
);
insert into sinkMysqlTable
select
d.id,
d.name,
d.cname
from
(select
a.id,a.name,b.cname
from
sourceKafkaTable a
join
sideMysqlTable b
on a.id=b.id) as d
================================================================
### 提交的命令如下:
sh submit.sh -sql /home/flinksql.txt -name flinkstream -remoteSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -localSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -mode yarn -yarnconf /home/hadoop-2.6.0/etc/hadoop -flinkconf /home/flink-1.8.0/conf -confProp {"time.characteristic":"EventTime","sql.checkpoint.interval":10000} -yarnSessionConf {"yid":"application_1582170401251_0003"}
================================================================
### 报如下错误:

- 主要言語
- Java
- スター
- 2k
- フォーク
- 913
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
DTStack/flinkStreamSQL のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
DTStack/flinkStreamSQL#467 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
DTStack/flinkStreamSQL#437 · コメント 3 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
DTStack/flinkStreamSQL#432 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#430 · コメント 1 件 ·
DTStack/flinkStreamSQL の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
elastic/gradle-plugins#157 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
cryptomator/hub#497 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
johanhaleby/occurrent#1120 ·