检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧
0.0 ~ 192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。
需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。 在连接管理页面,
前提条件 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。 Windows主机,请添加Administrator账号和密码作为采集凭证。
名。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括:
0.0 ~ 192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。仅TCP协议需要填写,若不需要扫描Windows类型主机,可将端口设为0。
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左
模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 上传成功后,单击“确认”按钮,进入任务中心页面,系统自动开始采集。 当任务状态为“成功”时,您可以前往应用管理页面,查看导入结果。 如果任务状态为“失败”,单击任务名称,可以查看采集失败的数
时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入该文件系统详情页面。在左侧导航栏选择“权限管理”,单击“添加授权”按钮。 根据表1,配置授权参数,单击“确定”添加完成。
中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL作为元数据仓,系统将通过MySQL查询Hive表的分区信息。启用后,需要配置如下参数: 元仓类型:目前仅支持MySQL作为元数据仓。
MgC的所有系统权限策略说明参见表1。 表1 MgC系统权限 策略名称 描述 策略类别 MgC FullAccess 迁移中心管理员权限,拥有操作MgC的所有权限。 系统策略 MgC ReadOnlyAccess 迁移中心只读权限,仅能查看MgC资源,无法进行操作。 系统策略 MgC
安全特性 采集安全性 本地导出 数据上传 数据线上存储 数据分析和呈现 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪
建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系统性能的任务进行优先级调整,确保迁移任务能够获得足够的性能资源。也可以考虑在系统负载较低的时段进行迁移。 父主题: 存储迁移
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。。 步骤一:创建迁移集群 迁移集群是专为存储工作流提供协作的核心组件,通过集群可以
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
192.168.0.0 ~ 192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。如果不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。如果不需要扫描Windows类型主机,可将端口设为0。 应用
192.168.0.0 ~ 192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。如果不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。如果不需要扫描Windows类型主机,可将端口设为0。 应用