检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。
如果您是首次使用MgC的主机迁移工作流,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 使用须知 在创建主机迁移工作流前,请仔细阅读并了解以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载迁移Agent。
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。
表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。
如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。
表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。
导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。 请按规则输入文件名。 文件格式无效。 请导入正确的文件格式。 新增数据源失败,导入文件不存在。 请检查导入文件是否成功,或尝试再次导入。 采集阿里云RM资源信息失败。
支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息
表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。
表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。
Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta Lake(有元数据)元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。
表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。
在将本地采集的数据上传到云端之前,可人工审阅并确认无安全风险后,再导入云上进行后续分析。 父主题: 产品咨询
telnet ip port 检查网络配置:检查网络执行模式是否设置为“经典模式”,通过以下注册表命令检查: reg query "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa" /v forceguest 如果 forceguest
通常MySQL证书存放在以下位置: MySQL 5.6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端
表2 高级选项参数说明 参数 说明 目的端存储类型 选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。 KMS加密 不勾选,迁移后对象状态与源端保持一致。 勾选,所有对象在迁移到OBS桶后都将被加密存储。
ObsMigrationAgencyPolicy apm:icmgr:*(apm采集组件的所有权限) 存储迁移工作流 场景 委托对象 自定义策略名称 细粒度最小使用权限 存储迁移工作流 MgC - OMS Administrator(系统角色,OMS的admin角色) RVTools导入