检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider:填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider:填写tunnel。
Connector。 购买弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存)。购买方法请参考创建弹性资源池。 创建完弹性资源池后,需要为弹性资源池分别添加一条通用队列和一条SQL队列,用于后续作业的运行。添加方法请参考添加队列。 创建DLI增强型跨源连接 登录DL
填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
关联应用 将待迁移主机关联应用,在后续的规格评估和创建迁移工作流时,选择该应用,即可对与应用关联的所有主机进行目的端规格评估和创建迁移工作流。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。
),请勿修改采集器安装包名称。然后单击“离线升级”按钮,系统开始自动安装并升级采集器。 在应用关联采集器页面,查看已安装的采集器版本信息更新为最新版本时,代表采集器已升级完成。 如果安装包中包含多个采集器,会一次性全部升级。 手动升级 使用注册的用户名、密码登录Edge控制台,在
上游组件类型(SourceComponentType) 作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。
r-server/shell 是 查询内存信息 sh getMem.sh 无 功能类 getMemRate.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询内存使用率 sh getMemRate.sh
关联应用 通过应用将资源进行分组管理,便于后续进行规格评估和创建迁移工作流。 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表页签,选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查
编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
荐Windows镜像,Linux推荐Linux镜像。 评估推荐的磁盘类型规格在目的端Region配额充足。 迁移前 迁移前请确认主机已经评估完成。 迁移中 迁移工作流创建后,不能关闭或者重启源端主机,不能变更源端磁盘,否则会导致迁移失败,需要重新迁移。 源端主机设置 源端Wind
a/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
迁移。 前提条件 已对源端资源完成规格评估。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域
目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。 父主题: TCO任务
可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进
动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为
所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中 废弃失败 废弃集群失败 删除中 删除集群中 删除失败 删除集群失败 已废弃
选择跨可用区迁移,同时选择目的可用区。 优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 可以设置“虚拟机规格”、“CPU规格”、“系统盘规格”、“数据盘规格”,推荐目的端时优先推荐满足以上要求的主机。 配置完成后,单击“确认”,创建评估成功。
单击映射类型前的按钮,可以查看映射详情。 映射:指在不同产品或规格之间建立的对应关系。 标准映射:指迁移中心推荐的源端产品规格到华为云的对应产品规格。 非标准映射:指在没有标准映射产品规格可用时,迁移中心选择的最接近的替代产品规格,或者用户根据需求手动更改后所选择的产品规格。 产品对比 在使用成本方面,系统
完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项