检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。 解决方法是修
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数
数据集群运维过程中遇到了相关技术问题,可以联系技术支持团队获得帮助,该技术支持仅协助分析处理MRS云服务相关求助,不包含云服务以外的求助,例如用户基于大数据平台构建的应用系统等。 技术支持范围 支持的服务 MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容 集群作业管理
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
Hudi Schema演进并发说明 建表时需要指定hoodie.cleaner.policy.failed.writes = 'LAZY',否则并发提交时会触发rollback。 DDL并发 表1 支持的DDL并发操作 DDL操作 add rename change type change
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MR
检查是否能从NTP服务器获取时间。 继续查看告警附加信息,是否提示不能从NTP服务器获取时间。 是,执行9。 否,执行10。 联系NTP服务器的服务商,解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是,处理完毕。 否,执行10。 检查从NTP服务器获取的时间是否持续未更新。
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
GB的文件,HDFS还是会预约一个块来写,这个块写完后再开启下一个块,文件写完后,实际占用1 GB磁盘,释放多余预约的空间。 该异常通常是因为业务写文件的并发量太高,预约写Block的磁盘空间不足,导致写文件失败。 解决办法 登录HDFS的WebUI页面,进入DataNode的JMX页面。 在HD
save("/tmp/tablePath") 所有参与分区间并发写入的任务,都必须配置上述参数。 不建议同分区内并发写,这种并发写入需要开启Hudi OCC方式并发写入,必须严格遵守并发参数配置,否则会出现表数据损坏的问题。 并发OCC参数控制: SQL方式: --开启OCC。 set
通第三方AD服务器。 是,执行7。 否,执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址,port为第三方AD服务器使用端口。 是,执行8。 否,联系运维人员检查网络。 联系第三方AD服务管理人员,检查AD服务是否正常。
请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。
的值,支持所有数据类型。 first_value:第一个值函数检索数据集中的第一个空值,支持所有数据类型。 first_non_null_value:非空第一个值函数选择数据集中的第一个非空值,支持所有数据类型。 使用约束 由于Hudi OCC特性的限制,当前不建议多流并发写Hudi表。
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
版本支持公告 MRS集群版本生命周期
oader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。
段决定,不同sequence组相互不影响。 使用约束 由于Hudi OCC特性的限制,当前不建议多流并发写Hudi表。 如果需要多流同时写请将所有流union后写入Hudi。 支持添加新列并作为新分组,但是新列添加后,需要同时修改表属性的tblproperties和serdepr
ALM-45442 SQL并发数过高 告警解释 告警模块按30秒周期检测ClickHouse服务的实际并发数,若并发数超过界面配置的并发阈值,系统产生此告警。 当系统检测到实际并发数低于并发阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45442 重要 是 告警参数
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS