检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
源端业务持续运行的场景。 目标:通过多次同步方案迁移增量对象数据,减少源端和目的端数据差异,确保数据迁移的准确性和业务连续性。 源端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_S
迁移中心集成了华为云多款云迁移产品,提供一站式的迁移集成能力和统一管理能力,并提供迁移工作流模板,用户可以根据不同迁移场景,简单、快速创建迁移工作流,提升用户云迁移效率。 多源采集 迁移中心支持多种类的资源采集,包括:云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进
凭证管理 凭证是资源采集的唯一认证方式,本节介绍如何添加用于发现云上资源(公网发现)所需要的凭证。内网发现、手动添加所需的凭证添加方式请参考在MgC Agent添加凭证。 认证方式 当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式
凭证管理 凭证是资源采集的唯一认证方式,本节介绍如何添加用于发现云上资源(公网发现)所需要的凭证。内网发现、手动添加所需的凭证添加方式请参考在Edge添加凭证。 认证方式 当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式 说明
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 安装MgC Agent的主机时间设置与当地标准时间不一致。 处理方法 AK,SK输入错误 请您检查输入的华为云账号AK/SK是否正确,特别是复制的时候有没有复制空
MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入迁移准备页面。
储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义
储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 单击“指定分区迁移文件”下的“添加文件”,将编辑并保存好的CSV文件上传至MgC。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06