检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hdfs-service-check.log HDFS服务启动是否成功的检查日志。 hdfs-set-storage-policy.log HDFS数据存储策略日志。 cleanupDetail.log HDFS服务卸载时候的清理日志。
前提条件 检查Flink元数据备份文件保存路径。 恢复Flink元数据需要先停止Flink服务。 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份Flink元数据。
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。
检查告警是否清除。 是,操作结束。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。
观察应用侧业务运行日志是否存在“XXX is too large for table XXX”或“Client scan caching XXX is too large for table XXX”,若存在,说明存在不合理请求,请检查对应请求,减小每次请求的数据量(Put/Delete
还有一个检查点算子checkpoint。当Lineage特别长时(这在图计算中时常发生),出错时重新执行整个序列要很长时间,可以主动调用checkpoint把当前数据写入稳定存储,作为检查点。
修改节点SSH默认端口 修改默认端口(22)将导致集群健康检查结果中节点互信、omm/ommdba用户密码过期等检查项不准确。 执行相关操作前将SSH端口改回默认值。 ClickHouse 删除ClickHouse数据目录 该操作将会导致业务信息丢失。 请勿手动删除数据目录。
Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策略适用的job名,可以填写多个值。这里支持通配符,例如:test、test*、*。
执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar.sha256 FusionInsight_Cluster
每次更新检查持久存储中针对事件日志进行的更改。 10s spark.history.fs.update.interval.seconds 每个事件日志更新检查的间隔。
list FILE[S] <filepath>* list JAR[S] <filepath>* list ARCHIVE[S] <filepath>* 检查给定的资源是否已添加至分布式缓存中。
如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境配置文件中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts
前提条件 检查ClickHouse元数据备份文件保存路径。 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份ClickHouse元数据。
如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts
“查看” 检查恢复任务的参数设置。 “执行” 运行恢复任务。 查看备份恢复任务(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 单击“备份管理”或“恢复管理”。 在任务列表中,查看“当次任务进度”列获取上一次任务运行的结果。
每次更新检查持久存储中针对事件日志进行的更改。 10s spark.history.fs.update.interval.seconds 每个事件日志更新检查的间隔。
如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java.opts
该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。
该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。
- 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 父主题: 创建CDL作业前准备