检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式:将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。 修改“pyflink-kafka
Flink开源社区开发文档:https://nightlies.apache.org/flink/flink-docs-stable/。 父主题: Flink应用开发规范
在Flink客户端下通过yarn session命令启动flink集群。 执行yarn-session.sh之前,应预先将Flink应用程序的运行依赖包复制到客户端目录“#{客户端安装目录}/Flink/flink/lib”下,应用程序运行依赖包请参考样例工程运行依赖包参考信息。
bingdata_env命令。 yarn-session.sh命令需进入“/Flink客户端安装目录/Flink/flink”目录执行,例如“/opt/client/Flink/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能
钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 父主题: Flink开启Checkpoint样例程序
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序(Java) Flink Kafka样例程序(Scala) 父主题: 开发Flink应用
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
修复Flink 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“FLINK_SERVER_GC_OPTS”,在该参数值中添加“
Flink开发样例 Flink支持对接ClickHouse、HBase、HDFS等多个服务,具体支持版本及样例详情可参考如下: FlinkServer对接ClickHouse FlinkServer对接HBase FlinkServer对接HDFS FlinkServer对接Hive
配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\springboot\flink-examples”目录下的样例工程文件夹“flink-dws-sink-example”。 导入样例工程到IntelliJ
配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\springboot\flink-examples”目录下的样例工程文件夹“flink-dws-sink-example”。 导入样例工程到IntelliJ
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序(Java) Flink DataStream样例程序(Scala) 父主题: 开发Flink应用
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
bigdata_env命令。 yarn-session.sh命令需进入“/Flink客户端安装目录/Flink/flink”目录执行,例如“/opt/client/Flink/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
Flink业务程序无法读取NFS盘上的文件 用户问题 Flink业务程序无法读取集群节点挂载的NFS盘上的文件。 问题现象 用户开发的Flink业务程序中需要读取用户定义的配置文件,该配置文件放在NFS盘上,NFS盘是挂载在集群节点上的,集群的所有节点均可以访问该盘。用户提交Fl
Flink运维管理 Flink常用配置参数 Flink对接应用运维管理(AOM) Flink日志介绍 父主题: 使用Flink
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。