检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。
执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。 创建CloudTable(ClickHouse)统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
迁移中心解析并保存信息:迁移中心接收到上报的信息后,会进行解析,提取出有用的信息,并将其保存到数据库中。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。 创建项目 在MgC控制台为本次采集创建独立的
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在MgC控制台,创建Hive统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤步骤16.创建的表组;执行机连接选择步骤20
Windows服务器WinRM服务配置与故障排查。 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。 在MgC控制台创建项目。 使用须知 在创建主机迁移工作流前,请仔细阅读并了解以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载迁移Agent。
如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。
该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。
适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 云上凭证的存储有效期为7天,超过7天后,凭证会过期,需要重新输入。 操作步骤
凭证是资源采集的唯一认证方式,在进行资源采集前,您需要在Edge上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。 前提条件
信息提示等,如图4所示。 图3 主机迁移阶段 图4 SMS迁移任务详情 保留SMS迁移任务 如果需要在主机工作流迁移完成后保留SMS迁移任务,需要手动在“迁移任务清理”步骤前添加一个卡点步骤,如图5所示。添加卡点步骤的方法和注意事项请参见添加阶段/步骤。 图5 添加卡点步骤 当工
台建立连接。 连接成功后,需要在Edge上分别添加源端“MRS/CDH执行机”凭证和目的端“MRS执行机”凭证,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 如果源端为MRS Hive且在安全集群下(开启Kerberos认证),还需要在Edge上添加源端Hive
好设置”选项(价格优先或性能优先)进行排序,依次检索各类型下所有虚拟机规格,选出第一个CPU和内存均不小于源端,且在阈值内的在售规格。如检索完所有规格类型仍未匹配到合适的规格,则会报错提示。如果需要特殊特性和功能(例如内存增强),应通过高级选项进行设置或通过应用场景匹配来获取更准确的推荐。
本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控
当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据重复的情况下,执行关联子查询,会提示异常,必须对子查询的结果做去重处理,比如max(),min()。 该参数设置为false: 不管子查询中数据重复与否,执行关联子查询时,都需要对子查询的结果去重,比如max()
255.255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。 选择
计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。 创建MRS ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
255.255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。 选择
Flexus云服务器 X实例评估+自动购买+使用MgC工作流迁移上云 准备工作+步骤1~8 。 准备工作 华为账号准备: 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建迁移项目: 在MgC
255.255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。 选择
选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。 选择绑定的目的端主机所在区域需要与源端主机关联的应用处于同一区域。