检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移中心 Agent(MgC Agent)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云
通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。 选择源端凭证,输入对象个数和容量(可选),单击“确认”,完成桶的迁移设置。 如果桶的迁移方式为“列表迁移”,需要在列表路径中输入列表文件的存放路径并以“/”结尾。 如果桶
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云
通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。 选择源端凭证,输入对象个数和容量(可选),单击“确认”,完成桶的迁移设置。 如果桶的迁移方式为“列表迁移”,需要在列表路径中输入列表文件的存放路径并以“/”结尾。 如果桶
创建N个Delta元数据连接,除了执行机IP和端口不同以外,其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下,增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复,除了步骤1.创建的第一个元数
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
安装MgC Agent的主机时间设置与当地标准时间不一致 在安装MgC Agent的Windows主机上,打开“日期和时间”设置。 在“日期和时间”设置界面,开启“自动设置时间”,然后单击“同步”按钮,触发一次时间同步。 确保时区和时间设置正确,与当地标准时间一致后,返回MgC
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“k
分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后
可以在主机的基本信息页面,通过主机规格名称来判断是否为XEN规格。当前XEN规格名称包括:C1、C2、S1、M1、E1、E2、Et2、D1、H1、G1、G2型弹性云服务器。 图1 查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 注意事项 创建的源端统计
在某一步,可能是因为MgC Agent(原Edge)上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工作流名称,在工作流详情页面的主机页签,可以查看每个资源工作流状态。 方法二:请联系技术支持人员帮忙追踪任务是否正常收发。 父主题: 主机迁移工作流
源关联到应用,方法请参见关联到应用。当所有配置和迁移预检测校验通过后,源端迁移准备度状态会变为已就绪,此时代表该主机已满足迁移条件。 为降低迁移风险,建议单个应用下的主机资源不超过30台;如果待迁移主机数量较多,您可以将主机分配到多个应用中。 父主题: 阿里云主机迁移至华为云
SSH端口开放检查:确保源端主机的SSH端口(默认是22)已开放,允许从执行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机上的SSH服务已启用并运行正常。大多数Linux服务器发行版默认启用SSH服务。 SSH密码认证:确保所有源端主机的SSH服务已配置为接受密码认证,
IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。 AWS账号凭证准备 提前获取待采集资源所属AWS账号的AK/SK,方法请参考获取AWS访问密钥(Access keys)。
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
目。 在应用列表,单击应用名称,进入应用详情页面。 在资源列表选择要添加的资源类型。以下步骤以关联主机资源为例。其它资源类型的关联方法与主机资源的方法相同。 在主机页签,单击列表上方的“关联资源”按钮,右侧弹出关联资源窗口。 图1 关联资源 勾选需要关联到同一应用的主机资源,单击
资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。