检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看Edge日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{Edge安装路径}/logs/audit/audit.log 。 事件记录界面:Edge控制台提供事件记录页面,可以查看事件来源、资源名称、关键行为名称、操作时间和结果等事件记录。
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
机IP或端口不可达。 问题分析 可能导致该问题的原因如下: 源端主机处于关机状态。 源端主机的IP或端口异常。 源端主机有防火墙、杀毒软件等安全拦截。 您可以通过查看Edge的Error日志文件确认具体的报错原因,Error日志文件的存储路径为:C:\Edge\logs\edge-server\error
在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校
进行主机深度采集后,在资源详情中查看采集的基本信息和规格信息,发现存在部分信息缺失的情况。 问题分析 出现该问题,可能是在安装Edge主机上的Linux采集脚本时,UNIX换行符格式不正确。正常情况下,Linux系统使用“LF”作为换行符,但安装的脚本中使用了Windows系统的“CR LF”。
如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。勾选完成后,单击“批量评估”按钮,在弹出的对话框中确认待评估主机数量无误后,单击“确认”,即可对勾选的主机进行风险评估。 在评估
元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。 username 是 填写拥有可读权限的登录用户名。 port 是 填写Nacos的访问端口。例如:8848 ip 是 填写Nacos的访问地址。例如:http://127
配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择方案后,可以看到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。 在迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集
- 路径 输入目的端接收文件的路径,格式为:/文件夹。 当输入的是/时,表示迁移到目的端的根目录。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移在源端信息配置的待迁移文件路径下/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
配置完成后,单击“确认”按钮,系统会校验配置信息的正确性。 配置信息校验无误后,单击性能采集列的“开始”,开始主机性能采集,此时状态为“采集中”。 开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在Edge添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在Edge添加的凭证未能同步到MgC。 解决方法 凭证添加错
(可选)网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时,需要进行额外的网络配置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
选择VMware扫描,在连接地址填写vCenter的IP地址,并选择vCenter的凭证。如未提前添加凭证,请前往迁移工具Edge添加私有云凭证。凭证中的用户名、密码为vCenter的登录用户名和密码。 单击“确认”,内网发现任务创建完成,系统开始主机资源发现。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。
选择VMware扫描,在连接地址填写vCenter的IP地址,并选择vCenter的凭证。如未提前添加凭证,请前往迁移工具Edge添加私有云凭证。凭证中的用户名、密码为vCenter的登录用户名和密码。 单击“确认”,内网发现任务创建完成,系统开始主机资源发现。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。
在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一应用的资源,单击页面左上角的“关联到应用”,弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。
配置完成后,单击“确认”按钮,系统会校验配置信息的正确性。 配置信息校验无误后,单击性能采集列的“开始”,开始主机性能采集,此时状态为“采集中”。 开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天