检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端“大数据-MaxCompute”凭证和目的端“大数据-数据湖搜索(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。
迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 使用须知 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。 在数据迁移时,如果重复迁移分区数据时提示错误信息:"Do not support update partition SerDeInfo
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
应资源规格,支持导出评估结果。 迁移工作流模板 迁移中心 MgC内置了由最佳实践总结而来的迁移工作流模板,包含主机大批量迁移模板、AZ间ECS迁移模板以及存储数据迁移模板,用户可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流,还可以插入自定义迁移阶段和步骤,支持一键式运行和实时监控迁移进展。
将鼠标移动到资源迁移进度条,在弹窗中可以查看该资源更多迁移信息。 当迁移步骤(进度条)到达需要手动确认的步骤时,您需要将鼠标移动到进度条上,并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作,系统才会继续进行后续的迁移步骤。 在基础信息区域,单击集群名称后的“管理”,右
在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数
创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端 MRS Doris凭证和目的端MRS Doris凭证,类型选择“大数据-Doris”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。
在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数
采集原理:利用kspider工具进行数据采集。 vCenter采集 权限要求:需要管理员账号,该账号应具备对vCenter环境中所有虚拟机的完全访问权限。 采集原理:通过VSphere SDK提供的资源枚举能力,采集到资源的列表及详细数据。 父主题: 采集安全性说明
创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证,认证方式分
安装Linux版本 准备工作 建议在源端内网环境中准备一台用于安装MgC Agent的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。
选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份,源端各自独立备份完成后,立即开始生成镜像和目的端主机。 目的端是否关机 选择“是”,生成目的端后,目的端保持关机状态。
选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份,源端各自独立备份完成后,立即开始生成镜像和目的端主机。 目的端是否关机 选择“是”,生成目的端后,目的端保持关机状态。
将鼠标移动到资源迁移进度条,在弹窗中可以查看该资源更多迁移信息。 当迁移步骤(进度条)到达需要手动确认的步骤时,您需要将鼠标移动到进度条上,并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作,系统才会继续进行后续的迁移步骤。 在基础信息区域,单击集群名称后的“管理”,右
创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端阿里云 ClickHouse凭证和目的端CloudTable ClickHouse凭证,类型选择“大数据-ClickHouse”
需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制: