通过Yarn模式提交任务时报错Caused by: java.lang.ClassNotFoundException: com.dtstack.flink.sql.source.kafka.KafkaConsumer010
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- java, kafka, mysql
调研方向
从 submit.sh 以及通过 -remoteSqlPluginPath 和 -localSqlPluginPath 传入的插件目录开始,然后在 -mode yarn 中复现所提供的命令。检查在提交到 Yarn 期间如何加载 KafkaConsumer010;当同一个 SQL 作业提交时不再出现报告的 ClassNotFoundException,即表示完成。
由索引模型根据 Issue 内容生成。
描述
### sql文件内容如下:
CREATE TABLE sourceKafkaTable(
id int as id,
name varchar as name
)WITH(
type ='kafka10',
bootstrapServers ='spark01:9092,spark02:9092',
zookeeperQuorum ='spark01:2181,spark02:2181/brokers',
offsetReset ='latest',
topic ='flink1',
parallelism ='1'
);
CREATE TABLE sideMysqlTable(
id int,
cname varchar,
PRIMARY KEY(id),
PERIOD FOR SYSTEM_TIME
)WITH(
type='mysql',
url='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName='root',
password='6666526',
tableName='side_order',
cache ='LRU',
cacheSize ='10000',
cacheTTLMs ='60000',
parallelism ='1',
partitionedJoin='false'
);
CREATE TABLE sinkMysqlTable(
id int,
name varchar,
cname varchar
)WITH(
type ='mysql',
url ='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName ='root',
password ='6666526',
tableName ='result_order',
parallelism ='1'
);
insert into sinkMysqlTable
select
d.id,
d.name,
d.cname
from
(select
a.id,a.name,b.cname
from
sourceKafkaTable a
join
sideMysqlTable b
on a.id=b.id) as d
================================================================
### 提交的命令如下:
sh submit.sh -sql /home/flinksql.txt -name flinkstream -remoteSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -localSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -mode yarn -yarnconf /home/hadoop-2.6.0/etc/hadoop -flinkconf /home/flink-1.8.0/conf -confProp {"time.characteristic":"EventTime","sql.checkpoint.interval":10000} -yarnSessionConf {"yid":"application_1582170401251_0003"}
================================================================
### 报如下错误:

- 主要语言
- Java
- 星标
- 2k
- 派生
- 913
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
DTStack/flinkStreamSQL 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
DTStack/flinkStreamSQL#467 · 1 条评论 ·
-
难度 4/5 3-5 天 新手友好度 25/100
DTStack/flinkStreamSQL#437 · 3 条评论 ·
-
难度 3/5 1-2 天 新手友好度 38/100
DTStack/flinkStreamSQL#432 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 未关闭
难度 5/5 一周以上 新手友好度 15/100
DTStack/flinkStreamSQL#430 · 1 条评论 ·
查看 DTStack/flinkStreamSQL 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 65/100
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
-
难度 2/5 1-3 小时 新手友好度 75/100
elastic/gradle-plugins#157 ·
-
难度 2/5 1-3 小时 新手友好度 75/100
cryptomator/hub#497 ·
-
难度 2/5 1-3 小时 新手友好度 75/100
johanhaleby/occurrent#1120 ·