检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
restart-strategy 默认重启策略,用于未指定重启策略的作业: fixed-delay failure-rate none none 否 restart-strategy.fixed-delay.attempts fixed-delay策略重试次数。 作业中开启了checkpoint,默认值为Integer
进行扩缩容;其他状态的计算实例仅保存配置,保存的配置将在计算实例重启时生效。 表1 动态伸缩参数说明 参数 描述 取值样例 负载采集周期 每进行一次实例负载采集间隔的时间。单位:秒。 10 扩容阈值 当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值,实例自动启动扩容操作。 0
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
和查询操作。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置创建、执行、查询、删除权限,请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用Ranger鉴权章节重新启用Ranger鉴权。 该章节内容仅适用于开启了Kerberos认证的集群。
"--enable-rack-aware" 和 "--enable-az-aware"选项来控制副本分配策略,支持 “rack.aware.enable”和“az.aware.enable”这两个服务启动参数组合来控制副本分配策略,需注意的是“az.aware.enable”参数不可修改,在创建集群时,如果
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
仅开启了Kerberos认证的集群(安全模式)支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面,选择“系统
启用Ranger鉴权并为代理用户配置操作数据源的数据库、表、列的管理权限,具体操作请参考添加HetuEngine的Ranger访问权限策略。 集群已启用Kerberos认证(安全模式) 使用kinit指定认证用户(需为HetuEngine管理员用户,并额外添加supergro
e.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优
复点。 MRS 2.x及之前版本,备份任务提供全量备份或增量备份的策略,增量备份策略支持HDFS和Hive备份任务,OMS、LdapServer、DBService和NameNode备份任务默认只应用全量备份策略。 任务运行规则: 某个任务已经处于执行状态,则当前任务无法重复执行,其他任务也无法启动。
滚动重启实例”,重启配置过期实例。 yarn.nodemanager.resource.memory-mb表示该节点上Yarn可使用的物理内存总量,在高负载情况下会与Presto互相挤占可用内存空间,请根据业务实际情况调小。 Yarn滚动重启过程中,在Yarn上运行的任务可能会因为重试次数过多
不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码,例如Admin@12345。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。此策略只影响“人机”用户。 执行如下命令,可以查看用户的信息。 getprinc 系统内部用户名 例如:getprinc hdfs
子网关联的网络ACL中均需参考6~8增加入方向规则。 在第一条规则的“操作”列,选择“更多 > 向前插规则”。 添加网络ACL规则,其中“策略”选择“允许”,“源地址”填入4中获取的“虚拟私有云”对应的“IPv4网段”,其他值保持默认即可。 单击“确定”完成网络ACL规则添加。
对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下,组件ACL规则仍将生效。 在“用户”,单击“添加”选择指定的用户并添加。 单击“确定”完成用户组创建。
主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。
查看、创建、管理、重命名、移动、删除文件/目录。 上传、下载文件。 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。 手动配置HDFS目录存储策略,配置动态存储策略等操作。 Hive: 编辑、执行SQL/HQL语句;保存、复制、编辑SQL/HQL模板;解释SQL/HQL语句;保存SQL/HQL语句并进行查询。
authenticate 在Spark on YARN模式下,将该参数配置成true即可。密钥的生成和分发过程是自动完成的,并且每个应用独占一个密钥。 true Compression 数据压缩是一个以CPU换内存的优化策略,因此当Spark内存严重不足的时候(由于内存计算的特质,这种情况非常常见),使
ReadOnlyAccess权限,拥有该权限的用户仅能查看MRS的资源。)。 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群”
如何修改Clickhouse服务的allow_drop_detached配置项? ClickHouse系统表日志过大时如何添加定期删除策略? 如何修改ClickHouse服务时区?