检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。
spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。
配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
网段扫描 权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对Edge所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。
在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。
配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 列表迁移文件 列表文件存放地址必须与目的端桶处于同一区域。
Zookeeper节点IP 填写连接到源端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 Zookeepeer连接端口 填写连接到源端Zookeepeer的端口。 HBase 版本 选择源端HBase的版本。
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 本文介绍在应用详情内
处理方案:在迁移集群新增迁移节点,再重试。 OMS-Workflow.0023 节点状态异常 请检查集群节点的安全组规则放通的端口是否满足要求。集群安全组配置要求请查看 资源类型和安全组配置说明。 OMS-Workflow.0024 集群不存在 请在集群列表检查该集群是否存在。
MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。 在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。
可以参考终端节点获取不同区域的区域代码信息。 项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下Edge通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端,Edge安装在阿里云ECS进行举例。 步骤一:配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤,分别配置VPN网关、
创建阿里云SLB SDK Client失败。 请检查所用凭证和所选区域是否正确。 校验模板失败,存在无效的参数值。 请输入有效的参数值。 校验模板失败。 请联系技术支持人员或提交工单。 校验模板失败,有必填项未填写。 请补齐必填项。 校验模板失败,表头填写错误。
大批量主机同时迁移时,可能出现的异常问题 大批量主机迁移时,会频繁调用API接口,API接口压力过大从而导致部分步骤报错,卡点后的步骤建议尽量分批次确定,或者重试即可。 大批量主机迁移时,可能会导致通信通道阻塞,无法正常显示工作流状态。 父主题: 主机迁移工作流
规格评估 评估推荐是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,支持导出评估结果。 本节为您介绍创建应用评估的方法。 绑定已有目的端的主机,无需进行评估推荐,可直接创建迁移。 前提条件 已完成资源采集。 已创建应用
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足
规格评估 规格评估是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,通过规格评估确定迁移目的端。 当前支持规格评估的资源类型为:主机、数据库、对象存储、容器、中间件。 已绑定目的端的主机资源,无需进行规格推荐,可直接创建迁移工作流
添加阶段/步骤 您可以在工作流标准模板的迁移阶段/步骤,添加卡点,对迁移阶段/步骤进行控制。 只有迁移阶段/步骤状态为等待中/暂停,才可以选择该阶段/步骤进行添加。迁移阶段/步骤处于运行中/完成状态时,无法添加。 如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段
步骤四:目的端规格评估 规格评估是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,通过规格评估确定迁移目的端。 前提条件 已完成迁移准备度评估,并将资源关联到应用。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的