检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理非常大的数值时,由于浮点数的精度限制,可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。
序号 功能名称 功能描述 阶段 相关文档 1 迁移中心上线公测 迁移中心(Migration Center, MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,可以帮助您轻松完成上云,该平台既提供快速平迁能力,也提供应用现代化建议和改造能力。 公测 什么是迁移中心
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建的
包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移
方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
产品功能 迁移成本分析(TCO) 通过迁移中心提供的TCO对比功能,可以自动完成源端云厂商消费账单分析以及和华为云的成本分析和比较,从而为您云间迁移提供参考。 应用关联分析 通过采集注册中心、配置中心、CMDB等平台,获取微服务间调用关系。配置更多采集项,可以更准确的分析出应用与
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航
并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建的
性能数据,其中目的端规格配置即为该资源的迁移目的端。 (可选)您还可以进行如下操作: 更改目的端规格:根据实际需求,可以调整目的端主机规格和磁盘规格,并支持磁盘缩容。 绑定已有目的端:根据评估结果,如果您在华为云上已有满足要求的主机,可以选择并绑定该主机作为目的端主机。 查看评估推荐结果
进入迁移中心MgC,因无法签署隐私声明,导致无法使用迁移中心。 问题分析 出现该问题可能是因为您登录的账号受限或欠费。 解决方案 请参考什么情况下华为云业务会受限?对账号进行排查和处理。处理完成后,请返回迁移中心重试。 父主题: 产品咨询
说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
hadoop.odps.tunnel.quota.name - 填写访问MaxCompute使用的Quota名称。 否 sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。 A:(8核32G内存,driverCores:2,executorC
Doris服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择步骤4.在MgC Agent侧添加的目的端MRS Doris凭证。 数据库地址 填写连接到目的端Doris数据库的Doris FE实例IP地址。
Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC Agent主机的/etc/hosts文件中,配置连接才能连接成功。 在安装MgC Agent的主机上,打开/etc/hosts文件进行编辑。 在/etc/hosts文件中,为每个源端和目的端节点添加一行,格式如下:
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移中心 Agent(MgC Agent)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数:
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
参数 说明 购买区域 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移