检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小
HTTP/HTTPS数据源 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 逻辑架构图 通过迁移中心进行存储数据迁移的逻辑架构图如图1所示。 图1
迁移工具 选择在源端环境中部署的迁移工具Edge。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址
元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选)
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
因为4是大于3的最小2的幂次;源端主机为4核CPU,阈值则为8核,8是大于4的下一个2的幂次。 内存阈值计算规则:为源端主机内存的1.5倍。例如:源端主机内存为4 GB,则阈值计算为4 GB的1.5倍,即6 GB。 例如: 源端6U8G + 价格优先:如果X实例有相应规格在售,则目的端推荐x1
“Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity 时,会被默认处理并显示为
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完
细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据
跨可用区(AZ)迁移,在迁移过程中会生成源端服务器的整机镜像,可能会产生一定的费用。 有关镜像服务的费用说明,请参见IMS计费说明。 目的端服务器费用 跨可用区(AZ)迁移,不支持已有目的端的迁移方式,同时会按需创建目的端,待业务割接后,用户可自行将目的端切换为包周期的方式。 有关按需云服务器的收费标准,请参见ECS按需计费说明。
Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域,支持多选。 是 在资源类型的下拉列表中勾选主机资源。 单击“确认”,公网采集任务创建完成,系统自动开始资源采集。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。
在执行IP不变的迁移操作前,目的端主机必须处于关机状态。如果目的端未关机,IP不变功能将尝试自动关机以确保迁移的顺利进行。 指定子网 需要指定最终切换的VPC中的子网,并且该子网的网段必须与源端的网段保持一致。 网卡绑定限制 目的端主机应只绑定一个网卡,不绑定任何额外的扩展网卡。 IP版本支持
0319 选择的ECS flavor的配额容量不足,无法购买。 请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。 Ecs.0707 该规格的主机不存在或已下线。 请前往迁移方案设计的目的端配置表页
通过操作列的“更多 > 重试”功能,重新创建集群。 迁移集群创建成功后,您可以进行如下操作。 当集群状态为健康或者亚健康时,单击集群操作列的创建工作流,可以配置存储迁移工作流。 在集群管理界面中,您可以添加/删除节点、流量控制规则等。 升级插件版本 当集群的插件版本有更新时,可以
失败或已完成的数据源。 删除采集项失败。 请检查该采集项状态是否为等待中,仅允许删除等待中的采集项。 删除采集任务失败,存在运行中采集项。 刷新采集项列表查看是否存在运行中的采集项,运行中的采集项时不允许删除采集任务。 导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。
编号 用于规格评估 name 名称 用于规格评估 credentialId 绑定的凭证ID 用于规格评估 collectInfo 采集器返回的原始信息 用于规格评估 collectError 采集出错时的错误信息 用于规格评估 assessStatus 评估状态 用于规格评估 clusterVersion
加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域,支持多选。 是 在资源类型下拉列表,勾选需要进行采集的资源类型(采集项)。当前支持采集的云平台和资源类型参见表2。 图2 选择要采集的资源类型 表2 支持采集的资源类型 云平台
于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 单击弹性资源池名称前的,在展开的信息中,获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。
(可选)选择需要采集的源端云平台服务(仅支持阿里云、腾讯云),获取资源与服务/微服务间的调用关系、关联关系以及依赖关系。 选择采集的服务时,需要确保所提供的凭证拥有该服务的相关权限。 采集各服务的功能见下表。 服务 功能 资源管理 RM 通过采集该服务可以发现更多应用与资源间的关联线索,防止应用与资源间关系链断裂。