检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。
在部署MinIO的服务器上,打开命令行界面。
源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。
单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。
单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。 选择源端主机关联的应用所在区域以及区域下的项目,在所选项目下,选择要绑定的目的端主机。
旧版 权限管理 配置管理 上云调研 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移 大数据校验
新版 权限管理 配置管理 调研评估 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。
迁移设置 区域 选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。
配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。 父主题: 上云调研
配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。 父主题: 调研评估
图1 查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。
源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。
如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选择“证书和密码”,选择“客户端密码”页签,单击“新客户端密码”,创建一个新的密码。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。
说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
部署MgC Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。