检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 单击操作列的“运行
将主机迁移至Flexus云服务器X实例(原云耀云服务器X实例) 迁移后主机私有IP保持不变 批量修改与还原源端Linux主机的Host配置 批量修改与还原源端Windows主机的Host配置
查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3 XEN实例变更为KVM实例(Linux-批量自动配置)中的步骤1~步骤2
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
登录迁移中心管理控制台。 在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 单击页面右上角的“创建集群”按钮,首次使用该功能时需要授权委托,同意授权后进入创建集群页面。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。 选择源端主机关联的应用所在区域以及
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接
“开始配置”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移网络配置 网络类型 选择公网迁移,要求目的端服务器配置有“弹性
迁移阿里云资源、AWS资源分别创建项目,通过项目将不同来源的资源进行隔离。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出的窗口中,自定义项目名称,并根据实际需求,选择迁移类型,单击“确认”。创建项目成功,可在项目管理列表查看。
手动添加资源 目前支持手动添加的资源类型包括:主机、Oracle数据库。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 创建应用。 添加主机 登录迁移中心管理控制台。
Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以添加华为云凭证。 在Edge凭证管理界面,单击“华为云凭证”前的按钮,在华为云账号框中,单击“配置”按钮。 在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证,可以将其删除后,重新添加。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
云边协同 连接迁移中心 添加/修改华为云凭证 添加资源凭证 配置OBS桶 设备管理 事件记录
flavor的配额容量不足,无法购买。 请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。 Ecs.0707 该规格的主机不存在或已下线。 请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。
进入创建公网发现任务页面。 根据公网发现任务参数说明,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择阿里云。 是 凭证 选择阿里云对应的凭证,如
要重新添加。 前提条件 已在源端安装Edge,并与迁移中心连接成功。 认证方式 支持在Edge上添加凭证的资源类型包括:私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用