检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 同步策略，每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new CountSyncPolicy(1000); // 文件大小循环策略，当文件大小到达5M时，从头开始写
了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将Yarn的标签调度增强为
User_Queue 产生该告警的提交用户及队列名称。 对系统的影响 系统负载高导致JDBC作业提交耗时增加，可能影响作业执行效率。同时，因为是异步检测，所以该告警触发并不会影响作业继续执行。 可能原因 该节点JDBCServer存在负载高等原因，需客户通过集群采集的系统指标及作业执行情况关注集群健康度。
启用了Ranger鉴权时，如果用户创建后需要继续为用户配置操作数据源的数据库、表、列的管理权限，请参考添加HetuEngine的Ranger访问权限策略。 在使用HetuEngine服务请确保已提前规划并创建HetuEngine用户待关联的租户。 创建HetuEngine用户 创建HetuEngine管理员用户
有被用户关联了的角色和用户组才会自动同步至Ranger。 Ranger界面中创建的Role为用户或用户组的集合，用于灵活设置组件的权限访问策略，与FusionInsight Manager中的“角色”不同，请注意区分。建议单个Role不要绑定超过1000个用户或用户组，否则会导致查看Ranger权限信息缓慢。
商用 自定义购买集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM账户与集群用户自动同步 将绑定MRS相关策略的IAM用户同步至MRS系统中，创建同用户名、不同密码的账号，用于集群管理。同步之后，用户可以使用IAM用户名（密码需要Manager的管
10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 每次都全量备份 选择数据周期备份策略。 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明： 备份组件元数据时不支持增量备份，仅支持“每次都全量备份”。
文件系统名称 设置并行文件系统的名称 hiveobs 数据冗余存储策略 多AZ存储：数据冗余存储至多个可用区（AZ），可靠性更高。 单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 单AZ存储 策略 并行文件系统的读写策略。 私有 归档数据直读 通过归档数据直读，您可以直接下载存储类别为归档存储的文件，而无需提前恢复。
MRS集群安全加固 MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容
要配置Yarn和HBase权限。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 已完成Hive客户端的安装，例如安装目录为“/opt/client”。 已获取一个拥有管理员权限的用户，例如“admin”。
认资源池，删除资源池前需要先取消默认资源池，请参见配置MRS租户队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除MRS租户队列配置。 通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
单击“启用Ranger鉴权”启用该功能。 否，表示当前本服务已启用Ranger鉴权插件，可通过Ranger管理界面配置访问该服务资源的权限策略。 若不存在该选项，则表示当前服务不支持Ranger鉴权插件，未开启Ranger鉴权。 父主题： Ranger常见问题
单击“启用Ranger鉴权”启用该功能。 否，表示当前本服务已启用Ranger鉴权插件，可通过Ranger管理界面配置访问该服务资源的权限策略。 如果不存在该选项，则表示当前服务不支持Ranger鉴权插件，未开启Ranger鉴权。 父主题： Ranger常见问题
ms、12800ms，也就是说close函数最多要50.8秒才能返回。 备注说明 一般出现上述现象，说明集群负载很大，通过调整参数只是临时规避这个问题，建议还是降低集群负载。 例如：避免把所有CPU都分配MapReduce跑任务。 父主题： 使用HDFS
安全模式支持创建HDFS角色，普通模式不支持创建HDFS角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置HDFS相关策略进行权限管理，具体操作可参考添加HDFS的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添
分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。
弹性伸缩接口 查看弹性伸缩策略 GET /v2/{project_id}/autoscaling-policy/{cluster_id} 更新弹性伸缩策略 PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 删除弹性伸缩策略 DELETE
每个分区负载均衡。对于存在数据倾斜的性能优化是很有用的。 dataStream.rebalance(); Rescaling：以round-robin的形式将元素分区到下游操作的子集中。如果你想要将数据从一个源的每个并行实例中散发到一些mappers的子集中，用来分散负载，但是又不想要完全的rebalance
写入速度变慢，并且WAL写入超时过多可能导致数据写入性能严重下降。 可能原因 慢盘故障。 RegionServer GC异常。 HBase负载过高。 WAL配置不合理。 处理步骤 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看“告警ID”
否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
