检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明 output_path
须知: 新建凭证中的认证方式请选择“AK/SK”,并输入源端阿里云账号的AK/SK。该账号的AK/SK需要拥有“只读访问云服务器ECS的权限(AliyunECSReadOnlyAccess)”。 是 区域 选择源端主机所在区域,支持多选。 是 资源发现 云平台采集 开启云平台采集
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
命令行客户端(MRS/CDH)。通过客户端执行机与大数据组件即可进行交互,从而获取必要的数据。 同时,为了确保客户端能够成功连接到集群并执行任务,需要确保安装客户端的主机hosts文件中包含了集群所有节点的主机名和IP地址,以及需要集群的安全组入方向规则将所有端口对客户端节点放开,具体操作请参考添加安全组规则。
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
证的对应参数框。 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧
默认创建名称为“MaxCompute到DLI元数据增量感知-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围
默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间
默认创建名称为“MaxCompute到DLI元数据全量迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围
设备管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的Edge。 前提条件 已在源端安装Edge,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。 单击左侧导航栏的“迁移工具”,在页面左上角的当前项目下拉列表中选择迁移项目,即可查看当前项目下的所有Edge设备以及设备状态。
默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06
本最佳实践主要介绍从阿里云ECS迁移至华为云ECS的详细步骤和注意事项。 本指导包含以下关键步骤: 准备工作:确保具备必要的账号以及账号满足权限要求。 安装Edge:下载并安装MgC服务所需的云边协同组件Edge。 资源采集:采集源端阿里云ECS主机的信息。 迁移准备:对源端阿里云ECS主机进行配置检查、网络测试和迁移分组。
置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通 SFS 3.0通过配置VPC终端节点并添加与迁移集群相同的VPC来实现网络打通。 参考配
户配额) ecs:servers:list(查询云服务器列表) ecs:cloudServers:list(查询云服务器详情列表) ecs:servers:stop(关闭云服务器) ecs:cloudServers:listServerInterfaces(查询云服务器网卡信息)
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器云备份、整机镜像、按需创建目的端等操作,因此迁移时需要确保账号余额充足。 父主题: 可用区迁移
在使用迁移中心工作流进行迁移时,需要将华为云凭证推送给源端迁移Agent,如果缺少华为云凭证,迁移工作流无法正常运行。 添加华为云凭证 如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以添加华为云凭证。 在Edge凭证管理界面,单击“华为云凭证”前的按钮,在华为云账号框中,单击“配置”按钮。