消费 Kafka 数据并写入 ClickHouse
创建 JAR 作业
-
在目标工作空间选择数据开发 > 作业开发,进入作业开发页面。
-
点击创建作业,进入创建作业页面。
-
选择代码开发-Jar 模式。
-
点击下一步,填写作业名称,并选择作业依赖的计算集群。
-
配置完成后,点击确定,开始创建作业。
开发 JAR 作业
-
在目标工作空间选择数据开发 > 作业开发,进入作业开发页面。
-
点击作业名称,进入开发面板。
-
配置 JAR 作业的程序入口、程序所需要的参数。
- JAR(程序包):选择已上传到资源管理的 JAR 程序包。
- 入口类:配置运行函数的路径。本示例填写
com.dataomnis.example.app.TopN
。 - 程序参数:配置数据源的连接信息。
本实践填写--kafka.brokers <Kafka 连接地址> --kafka.topics <Kafka Topic名称> --kafka.group.id <Kafka Group ID> --clickhouse.url <ClickHouse的连接地址> --clickhouse.username <ClickHouse 用户名> --clickhouse.password <ClickHouse 密码> --use.sql true
。
例如:–kafka.brokers 172.16.10.58:9092,172.16.10.59:9092,172.16.10.60:9092 –kafka.topics demo001 –kafka.group.id test01 –clickhouse.url jdbc:clickhouse://172.16.10.7:8123/pk –clickhouse.username default –clickhouse.password default –use.sql true
-
配置完成后,点击保存保存配置。
配置作业调度
-
选择已创建好的作业,点击右侧的调度设置,进入调度配置页面。
-
设置调度策略。
本实践选择执行一次,发布后立即执行。若您需要配置为其他调度策略,请参见配置作业调度。
-
设置完成后,点击确定。
配置运行参数
-
选择已创建好的作业,点击右侧的运行参数,进入运行参数配置页面。
-
配置运行参数。
- 计算集群:在该页面可以查看和修改运行作业的计算集群。
- 并行度:配置作业的并发数,不能为
0
,默认为1
。 - 依赖资源:选择作业运行所需的函数包以及自定义 Connector 包。本实践无需选择依赖资源。
-
配置完成后,点击确定。
发布作业
完成作业调度和运行参数配置后,您才可以发布作业。
-
点击发布,弹出发布调度任务对话框。
-
填写作业描述信息。
-
根据实际情况选择是否终止当前作业正在运行中的实例。
如果终止当前作业正在运行中的实例,运行中的作业实例会立即被强制终止。
-
点击发布,发布作业。发布作业时也会对代码进行语法检查,需要一定的时间,请耐心等待。
作业发布成功后,您可以前往运维中心查看已发布作业和作业实例。