检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume配置传输加密:请参见配置Flume加密传输。 Flink配置传输加密:请参见认证和加密章节的加密传输操作指导。 数据容灾与备份 容灾:MRS支持将数据备份到对象存储服务(OBS)中,支持跨区域的高可靠性。 备份:MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对H
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
包和业务表在同一个OBS桶下偶现OBS 403认证过期问题,开启方法(若之前有设置过,则跳过):在Master节点通过ps -ef | grep executor命令确定executor进程ID,并添加参数executor.spark.launcher.obs.user-agency
function语句重新创建所有自定义函数。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
数据类型转换失败,当前行成为脏数据。 剪切字符串 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。
可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS。 创建备份任务成功后,等待2分钟,检查告警是否消除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
rollback_package.sh 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。 停止集群业务及相关服务 如果您的集群涉及到Kafka业务,请先停止所有向Kafka中生产数据的作
使用create function语句重新创建所有自定义函数。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS.1.2补丁说明
集群日志转储至OBS的具体路径。开启日志转储功能后,日志上传需要对应OBS路径的读写权限,请配置MRS_ECS_DEFULT_AGENCY默认委托或具有对应OBS路径读写权限的自定义委托。具体请参见配置存算分离集群(委托方式)。该参数只适用于支持“集群日志转储OBS”特性的集群版本。
数据类型转换失败,当前行成为脏数据。 剪切字符串 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。
读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群,如需为流式集群或混合集群更换磁盘,请联系华为云技术支持处理。 登录MRS Manager。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”,在“角色”列表中单击RegionServer,选择“更多
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击“总览”,在“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点,执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0 运维通道补丁说明
“Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策