通过Yarn模式提交任务时报错Caused by: java.lang.ClassNotFoundException: com.dtstack.flink.sql.source.kafka.KafkaConsumer010

Offen

#265 erstellt am 23.2.2020 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 3/5
Geschätzter Aufwand: 1-2 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: java, kafka, mysql
Bereich: backend, databases, distributed-systems

Rechercherichtung

Beginne mit submit.sh und den Plugin-Verzeichnissen, die über -remoteSqlPluginPath und -localSqlPluginPath übergeben werden, und reproduziere anschließend den angegebenen Befehl in -mode yarn. Prüfe, wie KafkaConsumer010 während der Yarn-Übermittlung geladen wird; fertig ist die Aufgabe, wenn derselbe SQL-Job ohne die gemeldete ClassNotFoundException übermittelt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

### sql文件内容如下：
CREATE TABLE sourceKafkaTable(
id int as id,
name varchar as name
)WITH(
type ='kafka10',
bootstrapServers ='spark01:9092,spark02:9092',
zookeeperQuorum ='spark01:2181,spark02:2181/brokers',
offsetReset ='latest',
topic ='flink1',
parallelism ='1'
);

CREATE TABLE sideMysqlTable(
id int,
cname varchar,
PRIMARY KEY(id),
PERIOD FOR SYSTEM_TIME
)WITH(
type='mysql',
url='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName='root',
password='6666526',
tableName='side_order',
cache ='LRU',
cacheSize ='10000',
cacheTTLMs ='60000',
parallelism ='1',
partitionedJoin='false'
);

CREATE TABLE sinkMysqlTable(
id int,
name varchar,
cname varchar
)WITH(
type ='mysql',
url ='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName ='root',
password ='6666526',
tableName ='result_order',
parallelism ='1'
);

insert into sinkMysqlTable
select
d.id,
d.name,
d.cname
from
(select
a.id,a.name,b.cname
from
sourceKafkaTable a
join
sideMysqlTable b
on a.id=b.id) as d

================================================================
### 提交的命令如下：
sh submit.sh -sql /home/flinksql.txt -name flinkstream -remoteSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -localSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -mode yarn -yarnconf /home/hadoop-2.6.0/etc/hadoop -flinkconf /home/flink-1.8.0/conf -confProp {"time.characteristic":"EventTime","sql.checkpoint.interval":10000} -yarnSessionConf {"yid":"application_1582170401251_0003"}

================================================================
### 报如下错误：

Vorherrschende Sprache: Java
Sterne: 2k
Forks: 913
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus DTStack/flinkStreamSQL

Flink SQL 使用滚动窗口，能不能获取到延迟数据，跟datastream一样，可以放到侧输出里面 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

DTStack/flinkStreamSQL#467 · 1 Kommentar · Erstellt am 27.9.2024
这个如何引入使用flink-connector-hive啊 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

DTStack/flinkStreamSQL#437 · 3 Kommentare · Erstellt am 25.2.2022
kudu sink writemode参数没填写报NULLPointerException Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 38/100

DTStack/flinkStreamSQL#432 · 1 Kommentar · Erstellt am 16.11.2021
新版FlinkStreamSQL已经融合进FlinkX项目 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

DTStack/flinkStreamSQL#431 · Erstellt am 01.11.2021
有无对sql 语法校验的方法 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

DTStack/flinkStreamSQL#430 · 1 Kommentar · Erstellt am 08.10.2021

Alle Issues in DTStack/flinkStreamSQL