检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接
据采集。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
Agent添加的凭证未能同步到MgC。 解决方法 凭证添加错误:前往MgC Agent控制台,确认是否添加了与新增连接所需凭证类型相同的凭证。如果未添加,请参考在MgC Agent添加凭证,添加对应类型的凭证,添加后会自动同步到MgC。 凭证同步失败:在MgC控制台左侧导航树,选择“配置管理 > 凭证管理”,单击MgC
Agent添加的凭证未能同步到MgC。 解决方法 凭证添加错误:前往MgC Agent控制台,确认是否添加了与新增连接所需凭证类型相同的凭证。如果未添加,请参考在MgC Agent添加凭证,添加对应类型的凭证,添加后会自动同步到MgC。 凭证同步失败:在MgC控制台左侧导航树,选择“配置管理 > 凭证管理”,单击MgC
进入详细配置页面。 根据对应的参数配置说明,配置所选的统计方式参数。 各组件之间配置参数略有区别,请以实际页面为准。 全量对数作业参数配置说明 日级增量校验参数配置说明 小时级增量校验参数配置说明 指定日期校验参数配置说明 指定时间校验参数配置说明 表1 全量校验参数配置说明 区域
MgC Agent管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的MgC Agent(原Edge)。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 查看MgC Agent列表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。
进入详细配置页面。 根据对应的参数配置说明,配置所选的统计方式参数。 各组件之间配置参数略有区别,请以实际页面为准。 全量对数作业参数配置说明 日级增量校验参数配置说明 小时级增量校验参数配置说明 指定日期校验参数配置说明 指定时间校验参数配置说明 表1 全量校验参数配置说明 区域
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
用于规格评估 serverNum 主机数 用于规格评估 databaseNum 数据库资源个数 用于规格评估 kubernetesNum 容器资源个数 用于规格评估 obsNum 对象存储资源个数 用于规格评估 eipNum 弹性公网IP个数 用于规格评估 elbNum 负载均衡个数
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。 不覆盖:第
rInterfaces(查询云服务器网卡信息) 购买资源 场景 委托对象 自定义策略名称 细粒度最小使用权限 购买资源 MgC MgC PurchaseAgencyPolicy eps:resources:add(企业项目资源迁入) ecs:cloudServers:createServers(创建云服务器)
本节介绍对主机进行规格评估时,关于推荐策略和偏好设置配置项推荐逻辑的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 如果是通过手
迁移方案设计 绑定目的端 规格评估 购买资源 迁移风险评估 父主题: 旧版
迁移方案设计 绑定目的端 规格评估 购买资源 迁移风险评估 父主题: 新版
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。
通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。
看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会
据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。