检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件存储批量迁移 本文介绍如何使用迁移中心(MgC)的迁移方案配置功能和文件存储批量迁移模板,以高效完成文件存储的批量迁移工作。 源端支持的类型:NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。
资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。
等连接或同VPC子网,确保源端能够通过私网访问目的端。 如果源端无法访问公网,需要输入源端代理服务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解
在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口(如5985端口)是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口可以访问,请执行步骤4.。 如果端口无法访问,请检查源端主机安全组入方向规则中,协议端口号为TCP:5985和ICMP:全部
数据站点类型为腾讯云COS时填写 鉴权类型 鉴权类型的选择支持以下两种: 连接字符串。 存储账户名称+密钥。 获取以上两种鉴权类型的方式请参考:如何获取微软云的访问凭证。 数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源
存储迁移逻辑架构图 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。 在MgC控制台创建项目。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 (可选)涉及专线场景需要提前打通VPC或者
数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。 创建项目 在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。
式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。 选择绑定的目的端主机所在区域需要与源端主机关联的应用处于同一区域。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。
迁移工作流。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。 Windows主机,请添加Administrator账号和密码作为采集凭证。
ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
式如下: username,ip,port,password username:该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作,通常应使用具有管理员权限的用户名,如Administrator。 ip:该字段表示源端主机的内网IP地址。 port:该
在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总 SMS.0303 “域名联通失败”该如何处理? 父主题:
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
用MgC和访问MgC调研数据,MgC相关权限请参考权限管理。 数据线上存储 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 数据租户级隔离存储:线上存储数据按租户隔离,每个租户的数据是独立的,不会被其他租户访问。 数据存储
主机迁移工作流 迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流状态为“运行中”,如何查看迁移进度? 迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理? 迁移工作流步骤执行失败,提示“server require to
需要分别在华为云和阿里云进行安全组配置。 在华为云控制台配置安全组,允许Edge所在主机的内网IP地址访问。 登录华为云管理控制台。 在服务列表,选择“网络 > 虚拟私有云”,进入虚拟私有云列表页面。 在左侧导航栏,选择“访问控制 > 安全组”,进入安全组列表页面。 在安全组列表中,找到集群所在的安全组