检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
MRS 3.1.0补丁说明 MRS 3.1.0.0.15补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.0.0.15 发布时间 2024-6-7 补丁约束 如果之前集群安装过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0
准备连接Hive集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Hive权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续Put的场景。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight
MRS集群部署方案说明 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册(http://flume.apache.org/releases/1.9.0
升级MRS集群Master节点规格 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务(Host
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时,如果需要缩容ClickHouseServer节点,需参考本章节进行缩容前的数据检查,避免在删除节点过程中造成数据丢失。 缩容ClickHouseServer约束限制 表1 ClickHouseServer缩容约束
编包并运行Spark应用 操作场景 在程序代码完成开发后,您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.10 发布时间 2024-10-30 解决的问题 解决Flume后台卸载客户端后,从Flume管理的页面上无法删除该客户端实例的问题。 解决Kafka时延监控转告警(Topic数量监控、分区数量监控、请求时延监控)的问题。
调整集群节点 功能介绍 创建集群后,扩容/缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。该接口不兼容Sahara。处于running状态的集群才允许扩容/缩容,其他状态则不允许扩容/缩容。 集群状态和集群ID可参考查询集群列表接口获取。