检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题： 使用Flink
import org.apache.flink.api.java.tuple.Tuple import org.apache.flink.streaming.api.checkpoint.ListCheckpointed import org.apache.flink.streaming.api
Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输，要使用认证和加密传输，用户需要做如下准备： 安全认证 Flink整个系统有两种认证方式： 使用kerberos认证：Flink yarn client与Yarn
程。 当前MRS提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”： 表2 Flink相关样例工程 样例工程 描述
程。 当前MRS提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”： 表2 Flink相关样例工程 样例工程 描述
bigdata_env命令。 yarn-session.sh命令需进入“/Flink客户端安装目录/Flink/flink”目录执行，例如“/opt/client/Flink/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能
join到MultiJoin状态不兼容，切换时无法通过快照恢复作业。 FlinkSQL支持MultiJoin算子使用方法 配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“t
jar）拷贝到Linux环境的Flink运行环境下（即Flink客户端），如“/opt/Flink_test”。运行Flink应用程序。 在Linux环境中运行Flink应用程序，需要先启动Flink集群。在Flink客户端下执行yarn session命令，启动Flink集群。执行命令例如：
请执行如下步骤配置“flink.keystore”和“flink.truststore”文件路径为相对路径，并确保Flink客户端执行命令的目录可以直接访问该相对路径。 在Flink客户端“conf”目录下新建目录，例如ssl。 cd /Flink客户端目录/Flink/flink/conf/
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
Flink客户端常见命令说明 在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业： 安装Flink客户端，例如安装目录为“/opt/client”。 初始化环境变量。 source /opt/client/bigdata_env
flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 flink-dist_*.jar、flink-table_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。 Flink读写HBase程序 flink-connector-hbase*
配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\springboot\flink-examples”目录下的样例工程文件夹“flink-dws-sink-example”。 导入样例工程到IntelliJ
配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\springboot\flink-examples”目录下的样例工程文件夹“flink-dws-sink-example”。 导入样例工程到IntelliJ
Flink Job Pipeline样例程序（Java） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
Flink Job Pipeline样例程序（Scala） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafk
Spark从Hive读取数据再写入HBase样例程序开发思路 场景说明 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。
Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
