检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资
工作。 阿里云访问密钥(AK/SK)准备 检查阿里云迁移账号是否拥有AK/SK以及只读访问云服务器ECS的权限(AliyunECSReadOnlyAccess),如果没有,请参考如下步骤生成AK/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理 > 用户。
采集主机资源。 MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。 图1 采集方式 源端主机位于第三方云平台:源端为阿里云、华为云、AWS、腾讯云、Azure等云平台主机,推荐使用公网采集,也可以使用各场景通用的手动添加方式。 源端主机位于线
添加/修改华为云凭证 在使用迁移中心工作流进行迁移时,需要将华为云凭证推送给源端SMS-Agent,如果缺少华为云凭证,迁移工作流无法正常运行。 前提条件 已成功连接迁移中心。 添加华为云凭证 如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以按照如下步骤添加华为云凭证。 在MgC
资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
任务执行结果。通过列表上方的搜索框可以对任务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
旧版 权限管理 配置管理 上云调研 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移 大数据校验
TCO对比支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计
任务执行结果。通过列表上方的搜索框可以对任务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
目前仅支持主机资源进行迁移风险评估。 前提条件 已通过公网发现、内网发现或手动添加中的任意一种方法获取主机资源。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 单击迁移工具
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索(DLI)。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
请检查导入文件是否成功,或尝试再次导入。 采集阿里云RM资源信息失败。 请参考阿里云资源管理产品文档进行API SearchResources调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 采集阿里云RM资源配置信息失败。 请参考阿里云资源管理产品文档进行API GetReso
源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
如何获取微软云的访问凭证 获取存储账户/密钥 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“访问密钥” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。