原创

Flink安装步骤

1. 官网下载Flink安装包
Apache Flink® 1.10.0 is our latest stable release.现在最稳定的是1.10.0,不建议采用这个版本,刚从1.9升级到1.10,会存在一些bug,不建议采用小版本号为0的安装包,所以我们建议使用1.9.2版本
下载链接:
https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz

2. 安装包上传到node01节点

3. 解压、修改配置文件
解压:tar -zxf flink-1.9.2-bin-scala_2.11.tgz

修改flink-conf.yaml配置文件:
jobmanager.rpc.address: node01 JobManager地址
jobmanager.rpc.port: 6123 JobManagerRPC通信端口
jobmanager.heap.size: 1024m JobManager所能使用的堆内存大小
taskmanager.heap.size: 1024m TaskManager所能使用的堆内存大小
taskmanager.numberOfTaskSlots: 2 TaskManager管理的TaskSlot个数,依据当前物理机的 核心数来配置,一般预留出一部分核心(25%)给系统及其他进程使用,一个slot对应一个core。如果 core支持超线程,那么slot个数*2
rest.port: 8081 指定WebUI的访问端口

修改slaves配置文件:
node02
node03
node04

4. 同步安装包到其他的节点
同步到node02 scp -r flink-1.9.2 node02: pwd
同步到node03 scp -r flink-1.9.2 node03: pwd
同步到node04 scp -r flink-1.9.2 node04: pwd

5. node01配置环境变量
vim ~/.bashrc
export FLINK_HOME=/opt/software/flink/flink-1.9.2
export PATH=$PATH:$FLINK_HOME/bin
source ~/.bashrc

6. 启动standalone集群
启动集群:start-cluster.sh
关闭集群:stop-cluster.sh

7. 查看Flink Web UI页面
http://node01:8081/ 可通过rest.port参数自定义端口


提交Job到standalone集群
常用提交任务的方式有两种,分别是命令提交和Web页面提交
1. 命令提交:
flink run -c com.msb.stream.WordCount StudyFlink-1.0-SNAPSHOT.jar
-c 指定主类
-d 独立运行、后台运行
-p 指定并行度

2. Web页面提交:
在Web中指定Jar包的位置、主类路径、并行数等
web.submit.enable: true一定是true,否则不支持Web提交Application

3. 启动scala-shell测试
start-scala-shell.sh remote <hostname> <portnumber>

本文链接地址:http://www.ysxbohui.com/article/159

正文到此结束