检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。 并发线程数 设置采集线
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围
CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。 DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围
接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个
选择主机性能规格的推荐策略。 选择“不调整”,会推荐与源端主机性能相同或最接近的CPU核数、内存大小。 选择“按性能负载调整”,需要先完成源端主机性能采集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足条件的CPU核数、内存大小。 须知: 采集的性能数据越多,推荐的规格越准确,建议主机性能采集时长不少于7天。
默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,
false:不查询DLI表的分区,空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连
切勿选择通用队列。 自定义参数 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。
集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
说明和自定义参数说明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目
集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
用来替代磁带库。为了保持成本低廉,数据取回时间可能长达数分钟到数小时不等。 深度归档存储(受限公测中) 适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据取回时间将更长,一般为数小时。 关于华为云OBS存储类型更多介绍请参见OBS存储类别。 保留源端存储类型转换说明
说明 迁移任务类型 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
当执行求和操作(如sum或allsum)时,如果结果值的位数超过了Double类型的有效位数,会导致精度丢失。并且在处理非常大的数值时,由于浮点数的精度限制,可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。
说明 迁移任务类型 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。