检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议在源端内网环境中准备一台Windows主机,用于安装MgC Agent,对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
往主机迁移服务(SMS),对该主机进行“调整磁盘分区”操作。 操作步骤 登录SMS控制台。 在左侧导航树中,单击“迁移服务器”,进入迁移服务器列表页面。 根据MgC主机工作流中的资源名称,在迁移服务器列表找到对应的服务器,单击目的端列的“设置目的端”,进入迁移配置页面。 勾选高级配置后的“现在配置”,打开高级配置项。
机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。更改磁盘规格后,系统会自动判断是否进行了磁盘缩容,在主机资源配置明细列表中的“磁
Agent安装目录中的日志目录。该目录包含了MgC Agent运行时产生的各种日志文件。 cd /opt/cloud/Edge/logs/edge-server 使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表:
PowerShell 版本和依赖项要求 PowerShell 远程处理依赖于 Windows 远程管理 (WinRM),由 Windows Management Framework (WMF) 提供。 在 PowerShell 上运行远程会话,本地计算机和远程计算机必须满足以下要求:
g {源端主机IP地址}、telnet {源端主机IP地址} {端口}。 如果IP和端口均能连通,请执行步骤3.。 如果IP或端口不通,请检查源端主机安全组入方向规则中,协议端口号为TCP:22和ICMP:全部的源地址是否配置为安装MgC Agent主机的公网IP。确认安全组规则配置无误后,重新进行迁移准备度检查。
全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信 出方向 1 允许 IPv6 全部 ::/128 放通出方向流量,实现和源端通信 出方向 1 允许 IPv4 全部 0.0.0.0/0 放通出方向流量,实现和源端通信 出方向 1 允许 IPv6 全部 列举和迁移节点安全组
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。
待导入的表必须属于同一个元数据来源。 元数据连接为Delta(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)连接时,模板中的source_path和target_path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。
待导入的表必须属于同一个元数据来源。 元数据连接为Delta(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)连接时,模板中的source_path和target_path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。
全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信 出方向 1 允许 IPv6 全部 ::/128 放通出方向流量,实现和源端通信 出方向 1 允许 IPv4 全部 0.0.0.0/0 放通出方向流量,实现和源端通信 出方向 1 允许 IPv6 全部 列举和迁移节点安全组
户页面。 在用户列表,选择要在MgC Agent(原Edge)添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的krb5.conf和user.keytab文件。 在MgC Agent添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>
配置完成后,单击“立即创建”。 配置VPN连接。创建两条VPN连接,分别连接华为云VPN网关和阿里云对端网关。 在左侧导航树选择“虚拟专用网络 > 企业版-VPN连接”。 单击“创建VPN连接”,选择已创建的VPN网关和对端网关,并填入对端网关的子网地址(确保子网地址不重合)。 策略配置选择“自
盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹
在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。。 步骤一:创建迁移集群 迁移集群是专为存储工作流提供协作的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。为本次迁移创建独立的迁移集群,方法请参见创建集群。
创建用户组,单击用户组操作列的“授权”。在用户组选择策略页面中,选择“迁移中心(MgC)”,勾选需要授予用户组的权限。MgC权限说明参见权限管理。 最多可以创建20个用户组。 创建用户并加入用户组 创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的
Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。