检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
com,则输入test。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
和迁移任务到Edge,同时Edge侧将资源信息同步至MgC,实现满足安全、实时和性能的双向协同通信。 对象存储迁移服务 (Object Storage Migration Service,OMS) 提供对象存储迁移能力,可以将其他云平台对象存储服务中的数据迁移至华为云对象存储服务OBS中。
您可以在腾讯云控制台账号信息页面查看APPID。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”。 AK 输入华为云迁移账号的访问密钥和私有密钥。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs
配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。 立即运行:如果需要立即运行迁移任务,可以勾选“保存后立即运行”,然后单击“保存”按钮,会在任务管理列表中生成一条全量数据迁移任务并自动开始执行迁移。
请确保添加的目的端凭证最少拥有日志桶的如下操作权限: obs:object:PutObject:PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段 obs:bucket:ListAllMyBuckets:获取桶列表 obs:bucket:ListBucket:列举桶内对象 更多权限介绍请参见权限管理。
“表格上传”方式,通过填写TCO任务模板的方式上传源端信息进行评估分析。 须知: 模板中的主机数量不能超过9999台。 目的端区域 选择目的端所在区域。 配置完成后,单击“确认”按钮,提交上云成本分析任务。 提交成功后可以在上云成本分析(凭证)任务列表中看到提交的任务,单击任务名称,可以查看任务进度,等
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
gC控制台进行资源采集和执行迁移工作流任务。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云凭证区域,输入华为云账号的AK/SK,单击“查询项目”按钮
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每
le 目的端:obs://hw-test/documents/example_table 说明: 以上路径仅为示例,请在实际使用中替换为正确的路径。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每
迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流状态为“运行中”,如何查看迁移进度? 迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理? 迁移工作流步骤执行失败,提示“server require to bind credenlial first
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每