-
配置静态服务池 - MapReduce服务 MRS
配置静态服务池 操作场景 当需要控制集群服务可以使用节点的资源情况,或者在不同时间段集群服务使用节点的CPU不同,用户可以在MRS Manager调整资源基数,并自定义资源配置组。 前提条件 配置静态服务池后,HDFS和YARN服务需要重启,重启期间服务不可用。 配置静态服务池后
-
查看配置 - MapReduce服务 MRS
组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。 将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 图3 全部配置 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。
-
Hive常用常用配置参数 - MapReduce服务 MRS
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本,登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 对于MRS 3.x之后版本,登录FusionInsight Manager,选择“集群
-
MRS所使用的弹性云服务器规格 - MapReduce服务 MRS
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
-
典型场景:从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile 文件操作方式
-
典型场景:从SFTP服务器导入数据到HBase - MapReduce服务 MRS
SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。
-
配置Guardian服务对接OBS - MapReduce服务 MRS
创建云服务委托并绑定集群 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BM
-
典型场景:从FTP服务器导入数据到HBase - MapReduce服务 MRS
表2 输入设置参数 参数名 说明 示例 输入路径 FTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile;/opt 文件分割方式
-
HBase ACL安全配置 - MapReduce服务 MRS
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
-
查看配置 - MapReduce服务 MRS
查看配置 用户可以在MRS Manager上查看服务(含角色)和角色实例的配置。 操作步骤 查看服务的配置。 在MRS Manager,单击“服务管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。 在“参数类别”选择“全部配置”,界面上将显示该服务的全部配置参数导航树,
-
配置集群 - MapReduce服务 MRS
配置集群 购买方式简介 快速购买集群 购买自定义集群 购买自定义拓扑集群 创建专属云MRS集群 添加集群/节点标签 授权安全通信 配置弹性伸缩规则 管理数据连接 通过引导操作安装第三方软件 查看失败的集群操作任务 查看历史集群信息
-
存储配置 - MapReduce服务 MRS
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS,这需要与基础文件系统块大小保持一致,以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
-
配置自动化脚本 - MapReduce服务 MRS
配置自动化脚本 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 单击“配置自动化脚本”按钮。 单击“添加”。 配置“名称”、“脚本路径”、“执行节点”、“参数”、“执行时机”、“失败操作”。参数详情请参考表4。
-
典型场景:从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文
-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile 文件操作方式
-
场景1:单独配置弹性伸缩规则 - MapReduce服务 MRS
单击“确定”,完成弹性伸缩规则设置。 如果是为已有集群配置弹性伸缩的场景,需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。 父主题: 配置弹性伸缩规则
-
创建集群时配置LakeFormation数据连接 - MapReduce服务 MRS
进入Guardian服务“概览”页面,选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“HiveServer > 自定义”。在自定义配置项中添加如下参数。
-
配置AM自动调整分配内存 - MapReduce服务 MRS
在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。 配置说明: 配置项的默认值为空,此时不会启动自动调整的策略,ApplicationMaster的内存仍受“yarn
-
Yarn常用配置参数 - MapReduce服务 MRS
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。
-
修改服务配置参数 - MapReduce服务 MRS
对系统的影响 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间该服务不可用。 修改服务配置参数并重启生效后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务”。