检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
D。 说明: 您可以在腾讯云控制台账号信息页面查看APPID。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”。 AK 输入华为云迁移账号的访问密钥和私有密钥。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。
关联到应用的主机资源。 应用完成资源关联后,单击页面右上角的“规格评估”按钮,进入应用评估页面。对应用内的资源进行规格评估以获取最合适的华为云对应资源规格。更多详细介绍请参考规格评估。 父主题: 应用管理
单击任务框中的“导入>工具采集结果”,弹出导入工具采集结果窗口。 图1 导入工具采集结果 单击导入窗口的“添加文件”,将工具采集结果的json文件上传至迁移中心。 上传成功后,单击“确认”按钮,系统自动开始采集。 您可以在任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,
拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建集群”按钮,进入创建集群页面。 如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明
表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输入目的端OB
如果需要将任务日志文件和内容校验结果上传到OBS桶进行管理和分析,请参考配置OBS桶配置日志桶。配置了日志桶后,会默认使用日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 如果不需要将任务日志文件和内容校验结果上传到OBS桶,请勾选“我确认仅需在Edge侧查看日志和内容校验结果,无需上传至OBS桶”。
请联系技术支持人员或提交工单。 名称已存在。 请重新输入名称。 上传文件失败。 请联系技术支持人员或提交工单。 下载文件失败。 请联系技术支持人员或提交工单。 OBS文件不存在或已过期。 重新上传文件,或重命名文件后再上传。 MQ Sheet中生产者和消费者环境不一致。 请检查导入文件MQ
明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 如果是通过手动添加或内网发现获取的源端主机,则将X实例
6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127
绑定目的端 仅支持主机类型资源绑定目的端。如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求:
时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。
时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。
如果源端可以访问公网,在迁移网络配置选择公网迁移。 图1 公网迁移 如果源端无法访问公网,您需要准备一台可以访问公网的代理服务器并安装代理软件,方法可参考配置代理服务器访问华为云中的步骤1。对该代理服务器的网络要求如下: 该代理机器可以在源端内网,也可以在云上,只需和源端待迁移服务器内网互通即可。 需要确保代理服务器入方向代理端口对源端IP开放。
下载应用关联模板 打开导入模板,填写模板内的参数,其中标黄的参数为必填。模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 上传成功后,单击“确认”按钮,系统自动开始采集。 您可以在任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,
迁移过程中,会调用源端云服务商的接口,所产生的费用都遵循源端云服务商的计费规则并由其向您收取。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。 获取目的端账号的AK/SK。 在MgC控制台创建迁移项目 在MgC控制台创建迁移集群。 创建目的端弹性文件系统。
添加一条允许通过TCP协议访问27080端口的规则。源地址填写用于登录Edge控制台的Windows主机IP地址。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 安装步骤 使用在源端内网环境准备好的Linux主机,登录迁移中心管理控制台。
如何获取微软云的访问凭证 获取存储账户/密钥 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“访问密钥” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。
在Excel中,将原有数据复制并粘贴到一个新的Excel文件中。 保存新创建的Excel文件,确保文件格式为.xlsx或.xls。 将新保存的Excel文件上传到MgC中,重新创建采集任务。 父主题: 资源采集