检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务
默认资源池 default 表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 MRS 3.x及之后版本: 表2 队列配置参数 参数名 示例 描述 AM最多占有资源(%) 10 表示当前队列内所有Application
工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在,定时任务配置文件,用于设置定时策略。 oozie_shell.sh “shell”目录下存在,提交Shell任务需要的Shell脚本文件。 执行以下命令,编辑“job.properties”文件。
为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划特性。 MRS服务支持规则和时间计划两种弹性伸缩的策略: 弹性伸缩规则:根据集群实时负载对Task节点数量进行调整,数据量变化后触发扩缩容,有一定的延后性。 资源计划:若数据量变化存在周期性规
ResourceManager(RM) 负责集群中所有资源的统一管理和分配。接收来自各个节点(NodeManager)的资源汇报信息,并根据收集的资源按照一定的策略分配给各个应用程序。 NodeManager(NM) NodeManager(NM)是YARN中每个节点上的代理,管理Hadoop集群中单
步骤二:添加资源池:通过管理控制台将新增的节点配置为租户资源池。 步骤三:添加租户:新创建一个租户。 步骤四:队列配置:修改租户对应的资源队列配置及资源分布策略,将其与新资源池绑定。 步骤五:创建用户:新创建一个MRS集群用户并绑定租户。 步骤六:使用spark-submit提交任务:使用指定的队列运行作业任务。
Flink”,勾选“FlinkServer管理操作权限”。单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“flinkuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“flinkrole”、“System_administrator”角色,单击“确定”。 使用新建的f
Failed to unbind policy. 策略解绑失败。 请检查策略是否正确 400 MRS.0218 Failed to check whether policies are exist or not. 校验策略存在失败。 请检查策略是否正确 400 MRS.1010 The RDS
0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS
行创建。 xxx 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 绑定一个弹性公网IP。 集群节点
IDENTIFIED BY '数据库用户密码'; 执行以下命令刷新权限: FLUSH PRIVILEGES; PostgreSQL数据库需要修改预写日志的策略。 连接PostgreSQL数据库的用户需要具有replication权限和对数据库的create权限,对表要有owner权限。 CDL不
和密码,例如“admin”用户。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckS
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 备份ClickHouse业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。
se,介于Map phase和Reduce phase之间,当Map的输出结果要被Reduce使用时,每一条输出结果需要按key哈希,并且分发到对应的Reducer上去,这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。
上的会话,也不会接管此实例上运行的业务。 当JDBCServer进程停止时,删除在ZooKeeper上的相应节点。 由于客户端选择服务端的策略是随机的,可能会出现会话随机分配不均匀的情况,进而可能引起实例间的负载不均衡。 实例进入维护模式(即进入此模式后不再接受新的客户端连接)后
se,介于Map phase和Reduce phase之间,当Map的输出结果要被Reduce使用时,每一条输出结果需要按key哈希,并且分发到对应的Reducer上去,这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。
取数据,请修改备集群角色的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。 检查配置HBase容灾并启用数据同步后,主集群是否已存在表及数据,且历史数据需要同步到备集群?
华北-北京四 数据冗余存储策略 多AZ存储:数据冗余存储至多个可用区(AZ),可靠性更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 单AZ存储 文件系统名称 文件系统的名称,需全局唯一,不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使用HDFS客户端,以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单