检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,注册华为
可以持续关注数据一致性变化情况。第二日0点自动停止任务。 指定日期校验:仅适用于分区为年月日格式的分区表,支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。 指定时间校验:用户可以选择一个时间段,校验该时间段内的数据。只能选择当前时间之前的时间段进行校验。
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。 内网发现任务状态为成功后,即可进行主机深度采集。 在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。 内网发现任务状态为成功后,即可进行主机深度采集。 在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明
ve可能无法以标准数值格式表示这些极端数值,而是将它们显示为 “Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式:
待迁移桶列表中。 所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 绑定源端凭证。 单个绑定源端凭证:在待迁移桶列表中,单击每一行操作列的“修改”,在弹出的修改迁移设置窗口中选择源端凭证进行绑定。 批量绑定源端凭证:在列表中勾选多个桶,单击列表上方“批量绑定凭证”按钮,批量绑定源端凭证。
PC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
PC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
查看专线迁移的网络流出、流入带宽指标的方法如下: 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 云监控服务 CES”,进入总览页面。 选择页面左侧的“云服务监控”,进入云服务监控页面。 单击云专线CC/DC服务名称,进入云服务监控详情页面。 在实例列表,单击操作列的“查看监控指标”,可以查看资源实例的网络流入、流出带宽变化情况。
MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 MgC Agent:部署在客户的网络中,用来保存凭证等敏感资源和操作租户本地部署的资源。可以接收MgC的命令和上报命令执行结果。 图1
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,配置采集任务参数。 表1 云平台采集参数说明 区域 参数
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
MB。 列表文件存放目录下的列表文件个数不能超过10000个。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件中每行长度不要超过65535,否则会导致迁移失败。 列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 列表文件中每行使用制表符(键
根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表: 存储系统 路径和文件夹长度限制 OBS 文件夹和文件路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。
mc2dli.data.migration.mc.external.table false true 设置是否迁移外表。 false不迁移外表。 true迁移外表。 否 sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。 A:(8
前项目下拉列表中选择在准备工作中创建的迁移项目。 在左侧导航栏选择“设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮,进入主机标准迁移页面。 在基础配置区域,根据表1,配置相关参数。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“迁移设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮,进入主机标准迁移页面。 在基础配置区域,根据表1,配置相关参数。
请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验:全量处理所有非分区表,不做筛选。 全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非分区表。注意:非分区表非insert写入业务,元数据更新时间存在
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name