检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
TezUI(主机名称)”,在TezUI界面查看任务执行情况。 针对MRS 3.x之前版本,请登录MRS Manager界面,选择“服务管理 > Tez > Tez WebUI”,在TezUI界面查看任务执行情况。 切换Hive服务默认执行引擎为Tez 登录FusionInsight Manager界面,具体请参见访问FusionInsight
fileoutputcommitter.algorithm.version”配置为“2”,来提升MR Job commit阶段的性能。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数说明 参数 描述 默认值
fileoutputcommitter.algorithm.version”配置为“2”,来提升MR Job commit阶段的性能。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数说明 参数 描述 默认值
的管理员admin重置后方可使用)登录Manager管理集群。 商用 IAM用户同步MRS 2 集群管理WebUI上移Console 将MRS Manager中的内容与Console界面合并优化后使用Console界面显示,简化您管理集群时的登录和操作步骤。 商用 - 2020年7月
户任务提交、运行,用户之间是不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数
的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述
用户任务提交、运行,用户之间不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数
name=default命令指定运行队列。 提交并执行Tez任务。 登录FusionInsight Manager界面,选择“集群 > 服务 > Tez > TezUI(主机名称)”,在TezUI界面查看任务执行情况。 切换Hive服务默认执行引擎为Tez 登录FusionInsight Manager界面,选择“集群
当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。
户端IP及慢查询语句,其中: Doris集群中Top 10使用的用户:用于统计登录Doris客户端执行慢查询排前TOP 10的Doris用户。 Doris集群中Top 10使用的IP地址:用于统计登录Doris客户端执行慢查询排前TOP 10的客户端IP。 Doris集群中Top
询。 慢查询菜单路径 MRS 3.2.0之前版本:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 查询管理”,单击“正在进行的慢查询”页签。 MRS 3.2.0及之后版本:登录FusionInsight Manager,选择“集群
的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述
安全模式支持HTTPS和HTTP协议,普通模式只支持HTTP协议。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页
配置,使硬件资源得到充分利用。 对系统的影响 保存新的配置需要重启NodeManager角色实例,此时对应的角色实例不可用。 前提条件 已登录Manager。 操作步骤 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”。 单击部署NodeManager节点对应
Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题: 使用Spark2x(MRS 3.x及之后版本)
是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”,单击“全部
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题: 使用Spark/Spark2x
FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群