检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行创建。 xxx 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 绑定一个弹性公网IP。 集群节点
Loader,ClickHouse,HetuEngine,JobGateway,Kafka,Guardian,Oozie 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
步骤二:添加资源池:通过管理控制台将新增的节点配置为租户资源池。 步骤三:添加租户:新创建一个租户。 步骤四:队列配置:修改租户对应的资源队列配置及资源分布策略,将其与新资源池绑定。 步骤五:创建用户:新创建一个MRS集群用户并绑定租户。 步骤六:使用spark-submit提交任务:使用指定的队列运行作业任务。
配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中,再次执行这条SQL时会直接
Failed to unbind policy. 策略解绑失败。 请检查策略是否正确 400 MRS.0218 Failed to check whether policies are exist or not. 校验策略存在失败。 请检查策略是否正确 400 MRS.1010 The RDS
0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS
工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在,定时任务配置文件,用于设置定时策略。 oozie_shell.sh “shell”目录下存在,提交Shell任务需要的Shell脚本文件。 执行以下命令,编辑“job.properties”文件。
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckS
会使用用户自定义的函数对每个节点本地的相同key进行预聚合。而groupByKey算子是不会进行预聚合的,全量的数据会在集群的各个节点之间分发和传输,性能相对来说比较差。 使用mapPartitions替代普通map。 mapPartitions类的算子,一次函数调用会处理一个p
ResourceManager(RM) 负责集群中所有资源的统一管理和分配。接收来自各个节点(NodeManager)的资源汇报信息,并根据收集的资源按照一定的策略分配给各个应用程序。 NodeManager(NM) NodeManager(NM)是YARN中每个节点上的代理,管理Hadoop集群中单
Flink”,勾选“FlinkServer管理操作权限”。单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“flinkuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“flinkrole”、“System_administrator”角色,单击“确定”。 使用新建的f
ALM-45004 HetuEngine计算实例任务积压 ALM-45005 HetuEngine计算实例CPU负载使用率超过阈值 ALM-45006 HetuEngine计算实例内存负载使用率超过阈值 ALM-45007 HetuEngine计算实例Worker个数小于阈值 ALM-45008
已经EOS的版本将提供过渡期服务支持截止至2024年8月30日,即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略 版本升级:MRS LTS版集群支持原地版本升级能力,可参考具体的版本升级路径进行按需升级。 集群迁移:MRS普通版集群不支持原地升级,建议用户将集群迁移至最新的在网版本。
和密码,例如“admin”用户。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使用HDFS客户端,以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单
k、Flume、Hue、meta、Oozie、Loader、ClickHouse、HetuEngine、Sqoop 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启
0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。 配置文件中包
定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MRS_ECS_DEFAULT_AGENCY”绑定“KMS Administrator”策略,用户使用的自定义委托则需要用户自己绑定。
华北-北京四 数据冗余存储策略 多AZ存储:数据冗余存储至多个可用区(AZ),可靠性更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 单AZ存储 文件系统名称 文件系统的名称,需全局唯一,不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。
创建并行文件系统”,填写以下参数,单击“立即创建”。 表2 并行文件系统参数 参数项 取值 区域 华北-北京四 文件系统名称 mrs-hbase 数据冗余存储策略 单AZ存储 策略 私有 归档数据直读 关闭 企业项目 default 标签 - 等待桶创建好,单击桶名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。