检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Yarn原生页面显示ApplicationMaster启动两次均失败,任务退出,如图1信息: 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息: Exception in thread "main" java.lang.Exc
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
操作步骤 MRS 3.x之前的版本集群执行以下操作: 检查环境。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“组件管理”,查看Yarn的“健康状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 请先修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查磁盘IO利用率是否达到上限。 在FusionInsight Manager页面,选择“运维
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 在FusionInsight Manager页面,选择“运维
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个读操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
mapreduce.jobhistory.webapp.port 19888 26012 Job history服务器Web http端口。 该端口用于:查看Job History服务器的Web页面。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是
在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明:镜像中显示的EulerOS_2.10_x86_64,则代表操作系统为Linux系统版本(X86架构)、版本为EulerOS 2.10
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,
UI的管理员列表和管理员组列表,由客户端的“spark.ui.view.acls”和“spark.modify.acls.groups”配置指定查看Web UI任务明细的访问者列表和组列表,由客户端的“spark.modify.acls”和“spark.ui.view.acls.groups”配置指定修改Web
10/3.1.5.0.3及之后补丁版本集群,执行9。MRS 3.3.0之前版本集群请手动清除告警,操作结束。 否,执行10。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行10。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
指定一个Loader连接的名称。 OBS服务器 输入OBS endpoint地址,一般格式为OBS.Region.DomainName。 例如执行如下命令查看OBS endpoint地址: cat /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
写入文件的副本数大于DataNode的节点数。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是,执行2。 否,执行3。 按照ALM-14003 丢失的HDFS块数
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果MRS集群是安全模式,该值设置为“true”,否则设置为“fals