检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
校验目录权限。在提交作业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值 默认值及其父目录的默认权限
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时，需要保证源端集群和目的端集群之间的网络互通，例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数
生成HA证书时报错“symbol xxx not defined in file libcrypto.so.1.1” 用户问题 更换HA证书时，执行sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY_PERSIST的文件时，文件的三个副本
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY_PERSIST的文件时，文件的三个副本
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
值。如图1所示。 图1 设置告警阈值 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行8。 检查网络是否异常。 联系网络管理员，检查网络是否存在异常。 是，恢复网络故障，执行9。 否，执行10。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行10。 收集故障信息。
校验目录权限。在提交作业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值 默认值及其父目录的默认权限
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： abcd,product FusionInsight,Bigdata 配置“字符串逆序转换”算子后，生成两个新字段C和D： 转换后，依次输出四个字段，结果如下： abcd
配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： abcd,product FusionInsight,Bigdata 配置“字符串逆序转换”算子后，生成两个新字段C和D： 转换后，依次输出四个字段，结果如下： abcd
k2x\config”，手动将配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site.xml 配置HDFS详细参数。
6 on 10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS
6 on 10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS
加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
单击“计算实例”： 导入实例配置文件：单击“导入”，在本地选择JSON格式的实例配置文件后，单击“打开”。 导入导出功能，仅保存计算实例的配置，不保存实例ID、名称、开始时间、结束时间、状态等信息，重新导入后，这些信息将会重新生成。 导出实例配置文件：勾选待导出的实例，然后单击“导出”，可将当前实例配置文件导出至本地。
端。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。
端。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。
MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2 OBS证书失效告警 原因分析 OBS系统生成的证书有有效期限制，到达有效期后，证书文件失效，因此产生告警。 处理步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
