检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到模板内。 每个模板最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 元数据连接为Delta(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)连接时,模板中的source_path和target_path参数为必填项。
到模板内。 每个模板最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 元数据连接为Delta(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)连接时,模板中的source_path和target_path参数为必填项。
在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"状态,因此在需要访问时必须先进行数据恢复(即解冻)。解冻方式分为“标准解冻”和“加急解冻”,区别如下: 标准解冻:适用于对访问时间要求不是特别紧急的情况,解冻耗时大约需要3~5小时。 加急解冻:适用
x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致
的约束与限制如下: 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL
Kafka个数 用于规格评估 bigdataNum 大数据集群个数 用于规格评估 pubDomainNum 公网域名数量 用于规格评估 vpcDomainNum VPC域名数量 用于规格评估 routeTableNum 路由表个数 用于规格评估 vpnNum VPN网关个数 用于规格评估
x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致
x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
迁移以及调整大小。 Linux Btrfs文件系统暂时不支持磁盘分区调整。 Linux系统分区,swap分区是否迁移不可选,默认为“是”,必须进行迁移。 LVM迁移卷组,可通过卷组配置页,左上方的按钮组,选择全部迁移或暂不迁移。 LVM中的逻辑卷如果是否迁移都选择“否”,则卷组不
绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。
绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。
码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中划线【-】:迁移过程中不需要进行编码转换,可以直接迁移。 异构迁移不支持元数据迁移。 归档数据 归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。
码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中划线【-】:迁移过程中不需要进行编码转换,可以直接迁移。 异构迁移不支持元数据迁移。 归档数据 归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。
02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时,DLI不会提前删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。
02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时,DLI不会提前删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。
2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 hive.exec.dynamic.partition.mode strict nonstric 选择使用“自定义过滤”迁移策略迁移动态分区数据时,请添加该参数并配置参数值为nonstric。 否 父主题:
的约束与限制如下: 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL
已通过资源采集的公网采集,完成对象存储资源的发现与采集。 (可选)已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时,待迁移桶列表中的资源所属的平台必须和所选的源端平台一致,且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。
已通过资源采集的公网采集,完成对象存储资源的发现与采集。 (可选)已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时,待迁移桶列表中的资源所属的平台必须和所选的源端平台一致,且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。