检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作记录,供用户查询、审计和回溯使用。 云审计支持的MRS操作列表 云硬盘(Elastic Volume Service) 云硬盘可以为MRS使用的弹性云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。 扩容数据盘 云监控服务(Cloud Eye)
具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。
oader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServer服务常驻进程的能力定期清理残留文件。
新数据写入失败,任务中断。 可能原因 集群磁盘容量已满。 BE节点间数据倾斜。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名并确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。
算子输入、输出参数设置 输入类型 输出类型 表输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_
配置MRS集群审计日志转储 Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计
间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45294 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
"Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, {
在匹配条件前加“^”表示取反,即文件过滤。 例如,当“过滤类型”选择“WILDCARD”时,将该参数设置为“*”;当“过滤类型”选择“REGEX”时,将该参数设置为“\\.*”。 1*,2*;1* 文件过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入文件名进行
ive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。为了支持这种特性,HDFS现在支持了异构存储类型,这样用户就可以根据自己不同的业务需求场景来选择不同的数据存储类型。 因此,HDFS可以根据数据的热度,选择不同的存储策略。如将H
提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic Volume Management),多个磁盘规划成一个逻辑卷组。配置成LVM可以避免各磁盘间使用不均的问题,保持各个磁盘间均匀使用在HDFS和Kafka等能够利用多磁盘能力的组件上尤其重要。并
└───────┴────┴────────┴────────── ┴───── ┴──────────┴─────────┘ --修改表t1列name类型为UInt8 ALTER TABLE t1 MODIFY COLUMN name UInt8; --查询修改后的表t1 desc t1 ┌
”隔开。不能配置为空。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件类型 文件导入类型: “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在sequence file文件格式。
备份目录软链接到系统盘,系统盘满了之后备份任务失败。 处理步骤 检查备份目录是否软链接到系统盘。 以root用户登录集群主备Master节点。 执行df -h命令查看磁盘情况,检查系统盘的存储情况。 执行 ll /srv/BigData/LocalBackup命令, 查看备份目录是否软连接到/opt/Bigdata/LocalBackup。
PostgreSQL或Opengauss(适用于MRS 3.3.0及之后版本)积压过多的WAL日志,可能导致PostgreSQL或Opengauss磁盘空间耗尽。系统每5分钟检查CDL任务配置的复制槽Slot积压数据量是否超过阈值,如果是,则产生该告警。复制槽Slot积压低于阈值,告警恢复。
MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。 弹性云服务器的关机计费规则请参见弹性云服务器计费说明。 云硬盘的关机计费规则请参见云硬盘计费说明。 父主题: 计费模式
参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”选择“HIVE”,设置数据保存方式。 表4 输出设置参数 参数名 说明
请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”选择“HIVE”,设置数据保存方式。 表4 输出设置参数 参数名 说明