检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。
默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。
建的迁移项目。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮,右侧弹出新增连接窗口。 连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。
单击“添加路由”,弹出添加路由窗口。 按照提示配置参数。需要添加两条路由,单击,可以依次增加多条路由。 目的地址类型:选择“IP地址”。 目的地址:与创建跨源连接时,配置的主机信息IP保持一致。 下一跳类型:选择“服务器实例”。 下一跳:选择购买的ECS。 配置SNAT转换规则 配置完SNAT转换规则后,如果ECS重启,则需要重新配置。
选择主机迁移标准模板,单击“查看步骤详情”,可以查看主机迁移模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成;步骤类型为“手动”,表示该步需要用户手动操作。单击右下角的“开始配置”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1
在操作流程区域,单击“查看我的模板”,右侧弹出“我的模板”窗口,单击“创建模板”按钮,进入创建配置模板窗口。 在基础信息区域,选择模板类型(当前仅支持主机),自定义模板名称;在配置信息区域,根据表1,配置模板参数。 表1 模板参数配置说明 参数 配置说明 区域 选择目的端区域。
选的区域,自动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默
根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。
Lindorm、Hbase校验不支持纯冷数据表。 在进行Hive 2.x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可
配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。 规格与迁移节点规格一致
默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的源端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写连接到源端Doris集群部署的服务器IP地址。 数据库端口 填写连接到源端Doris集群部署的服务器的端口。默认为3306。
接迁移中心。 添加资源凭证。 Edge与迁移中心连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。 采集主机资源。 MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。
您真实需要的产品规格列表。 在上云成本分析(凭证)任务列表,单击任务名称。 单击操作列的“查看配置”按钮,进入“产品映射”页面。 单击映射类型前的按钮,可以查看映射详情。 映射:指在不同产品或规格之间建立的对应关系。 标准映射:指迁移中心推荐的源端产品规格到华为云的对应产品规格。
单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“元数据增量感知”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据增量感知任务参数。 表1 元数据增量感知参数配置说明 区域
模板页面。 选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域
单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“全量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置全量数据迁移任务参数。 表1 全量数据迁移参数配置说明 区域 参数
单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数
系统策略说明以及实际的权限要求,为用户组授权MgC系统策略,授权范围方案选择“所有资源”。 表1 MgC系统策略说明 策略名称 描述 策略类别 策略内容 MgC FullAccess 迁移中心管理员权限,拥有操作MgC的所有权限。 系统策略 MgC FullAccess策略内容 MgC
的授权方式,能够满足企业对权限最小化的安全管控要求。 如表1所示,包括了MgC的所有系统策略。 表1 MgC系统权限 策略名称 描述 策略类别 策略内容 MgC FullAccess 迁移中心管理员权限,拥有操作MgC的所有权限。 系统策略 MgC FullAccess策略内容 MgC