Flink CDC环境的部署
本文是本系列教程的第三部分:Flink CDC环境的部署
前言
准备了这么久,终于轮到我们本系列教程的主角——FlinkCDC登场了。本文将重点为大家介绍FlinkCDC的部署,本次教程我们选择单机部署。
Flink CDC下载并解压
访问Flink CDC下载页面https://www.apache.org/dyn/closer.lua/flink/flink-cdc-3.1.0/flink-cdc-3.1.0-bin.tar.gz
复制下载地址并下载
sh
wget https://dlcdn.apache.org/flink/flink-cdc-3.1.0/flink-cdc-3.1.0-bin.tar.gz
解压文件
sh
tar -zxvf flink-cdc-3.1.0-bin.tar.gz
查看文件目录结构
sh
cd flink-cdc-3.1.0/
ls
bin
目录
sh
ls bin/
flink-cdc.sh
用于提交任务到Flink环境中。
需要注意的是,在使用flink-cdc.sh
时需要先指定flink的环境环境变量
解决该问题有两个方法:
- 使用export设置环境变量
sh
export FLINK_HOME=/home/liuyq/flink-1.19.0
再次运行
sh
./bin/flink-cdc.sh
- 在提交Pipeline任务时的命令参数里指定
sh
./bin/flink-cdc.sh --flink-home=/home/liuyq/flink-1.19.0
此时运行会报错,需要同时指定Pipeline文件的路径
正确的写法为
sh
./bin/flink-cdc.sh --flink-home=/home/liuyq/flink-1.19.0 mysql-to-doris.yaml
至此,Flink CDC的部署就完成了。最后我们也提到了Pipeline文件,后面我们将继续学习Pipeline文件的编写。
进阶
Flink CDC不仅只有单机部署模式,在生产环境下更需要集群部署。如果您想要深入学习Flink CDC的部署方法,可以关注:遇码,回复flinkcdc,获取官方文档。