检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 DLI服务参数配置说明 CloudTable(ClickHouse)服务参数配置说明 CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。
云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面,单击“导出数据>实例”,导出所有实例资源清单。
选择的ECS flavor的配额容量不足,无法购买。 请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。 Ecs.0707 该规格的主机不存在或已下线。 请前往迁移方案设计的目的端配置表页面或迁移方案配
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
组件选择“数据湖探索 DLI”,任务类型选择“元数据全量迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据全量迁移任务参数。 表1 元数据全量迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据全量迁移-4位
Et2、D1、H1、G1、G2型弹性云服务器。 图1 查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3 XEN实例
务页面。 图1 公网发现 根据表1,完成基础配置和任务配置区域的参数配置。 表1 基础配置和任务配置区域参数配置说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,此处选择“华为云”。 是
的端组件选择“数据湖探索 DLI”,任务类型选择“全量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置全量数据迁移任务参数。 表1 全量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看
接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击
在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge。对该主机的要求以及Edge的安装方法请参见安装Windows版本的Edge。 连接迁移中心。 Edge安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 配置完成后,选择任务的运行方式。
手动添加资源 目前支持手动添加的资源类型包括:主机、Oracle数据库。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 添加主机 登录迁移中心管理控制台。 单击
设置开始时间和结束时间,单击“确认”。 修改并发子任务数 在进度详情区域,单击期望并发子任务数下方的“修改”,配置期望并发的子任务数。配置要求:配置的数目不能超过可用迁移节点数x10。例如,可用的迁移节点数为2,则配置数目需要≤20。 单击“确认”,完成并发子任务数修改。 添加迁移限速规则
选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。
手动添加资源 支持在应用内手动添加主机和Oracle数据库两种资源类型。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 已在应用管理页面创建应用。 添加主机 登录迁移中心管理控制台。
了解迁移过程中可能产生的费用,详情请参见计费说明。 权限配置 使用IAM进行精细的权限管理,详情请参见权限配置。 网络配置及迁移端口 确保源端和目的端的网络连接和端口开放满足迁移要求,详情请参见网络配置及端口开放。 步骤一:下载并安装Edge 参考下载并安装Edge,安装Edge工具并与迁移中心连接。 步骤二:添加主机
数据库(可选) 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。