检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10/3.1.5.0.3及之后补丁版本集群,执行9。MRS 3.3.0之前版本集群请手动清除告警,操作结束。 否,执行10。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行10。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
scala:60) at kafka.admin.TopicCommand.main(TopicCommand.scala) 通过Manager查看Kafka服务是否处于正常状态。 检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(
grep '${BIGDATA_HOME}' | awk '{print $2}' | xargs -I '{}' kill -9 '{}' 命令查找并终止container的进程。 管理员已排除主机的异常或故障后,需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机,选择“更多
”、“冷却时间”,具体弹性伸缩指标含义可以参考MRS集群Task节点弹性伸缩概述。 单击“确定”。 您可以在弹性伸缩页面,扩容或者缩容区域查看、编辑或删除配置的规则。您可以继续添加并配置多条规则。 单击“确定”,完成弹性伸缩规则设置。 如果是为已有集群配置弹性伸缩的场景,需勾选“
UI的管理员列表和管理员组列表,由客户端的“spark.ui.view.acls”和“spark.modify.acls.groups”配置指定查看Web UI任务明细的访问者列表和组列表,由客户端的“spark.modify.acls”和“spark.ui.view.acls.groups”配置指定修改Web
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看ClickHouse导入的文件内容。 父主题: 创建CDL作业
of -i|grep $port。($port为上一步获取端口号) 获取进程号成功。 是,执行10。 否,执行15。 根据获取到的进程号,查看进程是否存在连接泄露。 是,执行11。 否,执行12。 将存在连接泄露的进程关掉,观察界面上告警是否消除。 是,处理完毕。 否,执行12。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群 > 服务 > JobGateway > 实例”,查看所有JobServer实例节点IP。 获取部署了JobServer的节点中,IP最小的节点(以下简称“最小IP节点”)。若最小IP节点更新服务客户端失败,执行3,
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
loader/hadoop.<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。 普通模式或者密码登录方式,则不需要设置该参数。
行完成。 步骤3:检查迁移后的文件信息 登录迁移目的端集群主管理节点。 在集群客户端内执行hdfs dfs -ls -h /user/命令查看迁移目的端集群中已迁移的文件。 (可选)如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群,则配置定期任务增量迁移数据,直到所有业务迁移至目的端集群。
规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
Shell的转义字符规则。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true
the file system”。 图4 进入HDFS WebUI 观察HDFS上“/flume/test”目录下是否有产生数据。 图5 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user.keytab查看。 如果集群有做过切换域名操作,需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。