检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。
kafkaNum Kafka个数 用于规格评估 bigdataNum 大数据集群个数 用于规格评估 pubDomainNum 公网域名数量 用于规格评估 vpcDomainNum VPC域名数量 用于规格评估 routeTableNum 路由表个数 用于规格评估 vpnNum VPN
华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
表2 支持采集的资源类型 云平台 资源类型 子类型 阿里云 主机 容器 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡(ALB、CLB) 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 VPN网关 华为云
表2 支持采集的资源类型 云平台 资源类型 子类型 阿里云 主机 容器 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡(ALB、CLB) 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 VPN网关 华为云
成长地图 | 华为云 迁移中心 迁移中心(Migration Center, MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,可以帮助您轻松完成上云,该平台既提供快速平迁能力,也提供应用现代化建议和改造能力。 产品介绍 立即使用 成长地图 由浅入深,带您玩转
功能总览 功能总览 全部 权限管理 TCO对比 应用关联分析 资源管理 评估推荐 迁移工作流 权限管理 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织
连接迁移中心 将Edge与云端MgC控制台建立连接,协助MgC控制台进行资源采集和执行迁移工作流任务。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云凭证区域
什么是迁移中心 迁移中心(Migration Center,MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,该平台提供强大的应用发现能力和资源评估能力,并且通过向导式的迁移流程,帮助您轻松将应用资源迁移到华为云。 逻辑架构 MgC分为部署在云上的云服务和部署在客户网络中的
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移