检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中划线【-】:迁移过程中不需要进行编码转换,可以直接迁移。 异构迁移不支持元数据迁移。 归档数据 归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。
需要配置多个匹配规则时,用英文分号隔开。 白名单 白名单为空时,迁移所有文件。 白名单不为空时,仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段,根据配置,迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空,为空时表示不限制,时间可以精确到分钟。
绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。
绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。
码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中划线【-】:迁移过程中不需要进行编码转换,可以直接迁移。 异构迁移不支持元数据迁移。 归档数据 归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。
2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 hive.exec.dynamic.partition.mode strict nonstric 选择使用“自定义过滤”迁移策略迁移动态分区数据时,请添加该参数并配置参数值为nonstric。 否 父主题:
的约束与限制如下: 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL
已通过资源采集的公网采集,完成对象存储资源的发现与采集。 (可选)已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时,待迁移桶列表中的资源所属的平台必须和所选的源端平台一致,且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。
已通过资源采集的公网采集,完成对象存储资源的发现与采集。 (可选)已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时,待迁移桶列表中的资源所属的平台必须和所选的源端平台一致,且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。
元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动
02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时,DLI不会提前删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。
02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时,DLI不会提前删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。
168.52.0/24 所有IP地址:0.0.0.0/0 Linux主机 用户名/密码 用户名/密钥 选择用户名和密码时,输入源端主机的登录用户名、密码。 选择用户名和密钥时,输入源端主机登录用户名、口令(密钥文件对应的密码)、上传.pem类型的密钥文件。 须知: 如果密钥文件未加密,则口令无需填写。
168.52.0/24 所有IP地址:0.0.0.0/0 Linux主机 用户名/密码 用户名/密钥 选择用户名和密码时,输入源端主机的登录用户名、密码。 选择用户名和密钥时,输入源端主机登录用户名、口令(密钥文件对应的密码)、上传.pem类型的密钥文件。 须知: 如果密钥文件未加密,则口令无需填写。
元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动
ments为表的根目录,example_table为表目录。那么,映射到目的端的路径必须为:obs://hw-test/documents/example_table,除桶名外,根目录和表目录必须和源端一致。 填写示例: 源端:oss://oss-cn-hangzhou.aliyuncs
填写的账号信息(用户名、密码)必须具备在源端主机上执行netstat命令的权限。 app_only 否 设置是否仅采集进程应用信息,true代表是,false代表否,默认为false。 注意: 当该参数设置为false时,time参数为必填。 time 否 当app_only设置为false时,该参数必填。
的约束与限制如下: 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL
ments为表的根目录,example_table为表目录。那么,映射到目的端的路径必须为:obs://hw-test/documents/example_table,除桶名外,根目录和表目录必须和源端一致。 填写示例: 源端:oss://oss-cn-hangzhou.aliyuncs
--expire=<EXPIRE-IN-HOURS>:设置共享链接的过期时间,单位为小时。最长不得超过7天(168小时)。 <MINIO-ALIAS>:部署MinIO服务时自定义的服务别名。 <BUCKET-NAME>:存储桶名称。 例如,您的存储桶名为bucket-public01,桶中有2个文件(dragon