检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/hadoopclient/Flink/flink/bin sh generate_keystore.sh 该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中关于SSL的值。 执行认证和加密后会在Flink客户端的“conf”目录下生成“flink
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink对接云搜索服务(CSS)样例程序 父主题: Flink开发指南(普通模式)
Zookeeper的SASL认证,依赖“flink-conf.yaml”中有关HA的相关配置,具体配置请参见配置管理Flink。 SSL的keystore、truststore、keystore password、truststore password以及password等也使用“flink-conf.y
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序(Java) Flink DataStream样例程序(Scala) 父主题: 开发Flink应用
FlinkIoTDBSink样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb sink,通过flink job将时序数据写入IoTDB。 代码样例 该样例演示了从一个Flink job中发送数据到IoTDB server的场景。 一个模拟的Source S
FlinkIoTDBSink样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb sink,通过flink job将时序数据写入IoTDB。 代码样例 该样例演示了从一个Flink job中发送数据到IoTDB server的场景。 一个模拟的Source S
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。
开发Flink应用 DataStream程序 向Kafka生产并消费数据程序 异步Checkpoint机制程序 Stream SQL Join程序 父主题: Flink开发指南
Flink运维管理 Flink常用配置参数 Flink对接应用运维管理(AOM) Flink日志介绍 父主题: 使用Flink
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题: Flink应用开发常见问题
Flink运维管理 Flink常用配置参数 Flink日志介绍 父主题: 使用Flink
并行度可以在客户端将job提交到Flink时设定。对于CLI客户端,可以通过“-p”参数指定并行度。例如: ./bin/flink run -p 10 ../examples/*WordCount-java*.jar 系统层次 在系统级可以通过修改Flink客户端conf目录下“flink-conf.
成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“flink-dws-sink-example-1
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序(Java) Flink Kafka样例程序(Scala) 父主题: 开发Flink应用
Flink Job Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
程。 当前MRS提供以下Flink相关样例工程,安全模式路径为“flink-examples/flink-examples-security”,普通模式路径为“flink-examples/flink-examples-normal”: 表2 Flink相关样例工程 样例工程 描述
Pipeline 配置表 结构 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题: Flink应用开发常见问题
scan.records-per-second.limit' = '1000', 'properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT'