检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
资源类型 云服务 Action 最小权限策略 主机 EC2 ec2:DescribeInstances AmazonEC2ReadOnlyAccess ec2:DescribeAddresses ec2:DescribeImages ec2:DescribeVolumes cloudw
主机深度采集 完成主机资源发现后,可以按照以下步骤对主机资源进行深度采集。 在主机列表,单击操作列的“配置凭证”,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP。
理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后,将Edge与迁移中心进行连接,连接方法请参考连接迁移中心。 迁
资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 图2 选择DLI 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创
连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“C
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 DLI服务参数配置说明 CloudTable(ClickHouse)服务参数配置说明 CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
AK/SK验证失败,如何处理? 问题描述 安装MgC Agent(原Edge)并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 安装MgC Agent的主机时间设置与当地标准时间不一致。
出现该问题,可能的原因有: 目的端区域没有与源端匹配的规格。 创建评估时,配置了自定义评估策略,没有匹配到符合策略的主机规格。 解决方法 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创
据采集。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
信息,发现存在部分信息缺失的情况。 问题分析 出现该问题,可能是在安装MgC Agent(原Edge)主机上的Linux采集脚本时,UNIX换行符格式不正确。正常情况下,Linux系统使用“LF”作为换行符,但安装的脚本中使用了Windows系统的“CR LF”。这种格式不匹配导致采集时脚本推送到源端主机上执行失败。
MgC Agent(原Edge)设备离线原因 MgC控制台显示设备状态为离线,请排查以下原因: 请检查安装MgC Agent的主机是否仍然具备访问公网的能力。 请检查MgC Agent运行进程是否正常。 父主题: 常见问题
使用迁移中心进行迁移前,需要做哪些准备工作? 注册华为账号开通华为云,并实名认证。 如果使用IAM用户登录MgC进行操作,需要为IAM用户配置迁移中心权限。 获取账号/IAM用户的AK/SK。 父主题: 产品咨询
单击“创建任务”按钮,右侧弹出新建任务窗口,根据待采集资源选择采集器类型,单击“下一步”,进入任务参数配置页面。 在基本参数区域,自定义任务名称;在采集器参数区域,根据采集器参数配置说明,配置采集器参数信息,其中带参数为必填参数。 配置完成后,单击“确认”按钮,采集任务创建完成。在任务列表中可以查看任务的数据源采集状态。