检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。
不可与“Map数”同时配置。当使用关系型数据库连接器时,不支持“Map数据块大小”,请配置“Map数”。 1000 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。
说明: 主HMaster的HeapSize为4GB的时候,HBase集群可以支持100000 Region数的规模。根据经验值,集群每增加35000个Region,HeapSize增加2GB,主HMaster的HeapSize不建议超过32GB。
以下是一个可选参数: -Dscan.caching:在扫描数据表时的缓存行数。 如果不设置该参数,则默认值为1000。 为单个Region构建索引是为了修复损坏的索引。 此功能不应用于生成新索引。
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。
topology.max.spout.pending null Spout消息缓存数,仅在Acker不为0或者不为null的情况下生效。
以下是一个可选参数: -Dscan.caching:在扫描数据表时的缓存行数。 如果不设置该参数,则默认值为1000。 为单个Region构建索引是为了修复损坏的索引,此功能不应用于生成新索引。
p201707、p201708,取值为: p201706:范围为[最小值, 2017-07-01) p201707:范围为[2017-07-01, 2017-08-01) p201708:范围为[2017-08-01, 2017-09-01) 每个分区使用siteid进行哈希分桶,桶数为
“最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS.1及之后版本支持。
图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0.0.16补丁说明
TRUE write.index_bootstrap.tasks 选填 index.bootstrap.enabled开启后有效,增加任务数提升启动速度。 4 index.state.ttl 选填 索引数据保存时长,默认值为0,表示永久不失效,可根据业务调整。
support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition 如果分区在写入过程中已编码,则解码分区值 N false --batch-sync-num 指定每批次同步hive的分区数
历史任务数10000和JobHistoryServer内存的对应关系如下: -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G 保存配置,并重启JobHistoryServer实例。
设置参数值建议为偶数2或4(最大值不要超过单节点CPU核数的一半)。 设置此参数值时需要观察CPU使用率,CPU使用率小于50%时方可考虑设置。 如果查询SQL是insert into select大数据量的方式,不建议设置此参数。 父主题: Doris应用开发规范
在MRS集群详情页面,单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。
MRS 2.1.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
说明: 主HMaster的HeapSize为4G的时候,HBase集群可以支持100000 region数的规模。根据经验值,集群每增加35000个region,HeapSize增加2G,主HMaster的HeapSize不建议超过32GB。
最大map数:修改执行MapReduce任务的最大map数。 单个map的最大带宽:修改单个map最大带宽。 修改某个备份任务参数“目的端路径”后,第一次执行此任务默认为全量备份。 单击“确定”保存。
建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的,实现单个Compaction task的稳定运行。
hbase.ipc.server.handler.overload.threshold RegionServer handler过载阈值,当活跃handler数占比超过此阈值时,会直接丢弃低优先级表的请求。该配置用于保障核心业务表请求时延。