检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交Spark任务到新增Task节点 应用场景 MRS集群可以通过增加Task节点，提升计算能力，集群Task节点主要用于处理数据，不存放持久数据。 本章节指导用户通过租户资源绑定新增的Task节点，并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核心概念
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时，如果需要缩容ClickHouseServer节点，需参考本章节进行缩容前的数据检查，避免在删除节点过程中造成数据丢失。 缩容ClickHouseServer约束限制 表1 ClickHouseServer
MRS集群服务常用端口列表 在自定义购买MRS集群时，如果集群为LTS版本类型，则可以定制组件端口（默认选择为“开源”）。 “组件端口”参数选择“开源”时，组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时，组件端口默认值请参考“定制默认端口”列。 如果仅有“
如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见更改安全组。
准备Spark应用Scala开发环境 操作场景 Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Scala开发环境，推荐使用IDEA工具，安装要求如下。 JDK使用1.7版本（或1.8版本） IntelliJ IDEA
约束限制： 不涉及 取值范围： 1-500 默认取值： 不涉及 billing_type 是 Integer 参数解释： 集群的计费模式。 约束限制： 不涉及 取值范围： 12：表示按需计费。接口调用仅支持创建按需计费集群。
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation（同分布）是HDFS提供的数据分布控制功能，利用HDFS Colocation接口，可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocation
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，集群管理员可以在Manager调整资源基数，并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后，受影响的服务的配置状态将配置过期
查看FlinkServer作业健康状况 本章节适用于MRS 3.3.0及之后的版本。 作业健康状态说明 当集群运行大量Flink作业时，为方便用户对每个作业进行健康状态评估，FlinkServer WebUI提供Flink作业健康度管理功能，用户可直接在页面查看当前作业的健康情况，
场景说明 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing GuoYijun CaiXuyu Liyuan FangBo
Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型，拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。
根据“dfs.blocksize”，NameNode的文件对象数计算方法如下： 表1 NameNode文件对象数计算 单个文件大小 文件对象数 小于128MB 1（对应文件）+1（对应Block）=2 大于128MB（例如128G） 1（对应文件）+1,024（对应128GB/128MB
自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。 （可选）支持MRS Manager页面以及组件原生页面超时时间可配置，需要手动修改如下配置。
使用MRS Hive表对接OBS文件系统 应用场景 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力
配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线，每个生产线上有
使用Loader从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，
ALM-19033 RegionServer的RPC读队列数超过阈值 告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC读队列待处理任务个数，当检测到某个RegionServer上的RPC读队列待处理任务个数连续10次超出阈值时产生该告警。 当
典型场景：从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，确保用户已授权访问作业执行时操作该表的权限
配置Doris对接Hudi数据源 在MRS集群元数据存储在Hive MetaStore的场景中，Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源，支持对接Hudi所有的数据字段类型。 Doris支持查询的Hudi表类型 Doris支持的Hudi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
