检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户如果在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。
逻辑机架,以满足策略1。不建议物理机架中包含的主机有太大的差异,这样会降低集群的可靠性。 策略 5:建议机架的第一层为默认的“default”或其他值,但在集群中保持一致。 策略 6:每个机架所包含的主机个数不能小于3。 策略 7:一个集群的逻辑机架数,不建议多于50个(过多则不便于维护)。
RocksDB的Compaction压力过大,同时会存在“ALM-45646 RocksDB的Pending Compaction持续超过阈值”和“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”告警。 Level0层SST文件数过多。 处理步骤
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
第2个收费站,通过的第6个收费站),(通过的第1个收费站,通过的第7个收费站),(通过的第3个收费站,通过的第8个收费站)] 如果车牌号1和车牌号2通过相同收费站是顺序排列的(比如收费站3、4、5是车牌1通过的第1、2、3个收费站,是车牌2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息。 在MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警。 在“告警详情”区域,查看“告警原因”,可知产生该告警的原因。
在“服务”中勾选操作集群的“HetuEngine”,单击“确定”。 在“主机”中勾选对应角色所在的主机,单击“确定”。 单击右上角的,设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
“数据节点滚动重启并发数” 1 采用分批并发滚动重启策略的数据节点实例每一个批次重启的实例数,默认为1。 说明: 该参数仅对同时满足“采用并发滚动策略”和“实例为数据节点”两个条件时才有效。 当启用机架策略时,该参数将失效,集群以机架策略默认配置的最大实例数(默认值为20)作为一个机架内分批并发重启的最大实例数。
需要添加组件操作用户到Ranger策略中的URL策略,URL填写对象在OBS上的完整路径,权限选择Read, Write 权限,其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限,MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
conf = context.getConfiguration(); // 对于需要访问ZooKeeper的组件,需要提供jaas和krb5配置 // 在Map中不需要重复login,会使用main方法中配置的鉴权信息 String krb5 = "krb5
迁移数据时旧版本集群应为MRS1.5及其以前的版本,新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群需配置跨集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表
日志归档规则: 使用yarn-client或yarn-cluster模式提交任务时,Executor日志默认50MB滚动存储一次,最多保留10个文件,不压缩。 JobHistory2x日志默认100MB滚动存储一次,最多保留100个文件,压缩存储。 JDBCServer2x日志默认100MB
第2个收费站,通过的第6个收费站),(通过的第1个收费站,通过的第7个收费站),(通过的第3个收费站,通过的第8个收费站)] 如果车牌号1和车牌号2通过相同收费站是顺序排列的(比如收费站3、4、5是车牌1通过的第1、2、3个收费站,是车牌2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
Non-Authoritative Information 非授权信息,请求成功。 204 NoContent 请求完全成功,同时HTTPS响应不包含响应体。 在响应OPTIONS方法的HTTPS请求时返回此状态码。 205 Reset Content 重置内容,服务器处理成功。 206
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
-c命令之前,将定制的内容从备份目录手动保存或者移至升级后的客户端目录。客户端备份路径为:{原客户端路径}-backup。 参数-u是-c和-s的前提,必须在-u命令执行了升级之后,才能选择是要执行-c进行提交还是-s进行回滚。 升级命令(-u)可以多次执行,每次执行只升级前面升级失败的客户端,跳过升级成功的客户端。