检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。
表1 文件类源端作业参数 参数 是否必选 类型 说明 fromJobConfig.inputDirectory 是 String 抽取文件的路径。
创建MRS数据源连接时，认证类型要与MRS集群是否开启KERBEROS保持一致。 父主题： 故障处理类
原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 父主题： 故障处理类
添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。
fromJobConfig.formats参数说明 参数 是否必选 类型 说明 name 是 String 列号，例如：“1”。 value 是 String 时间格式，例如：“yyyy-MM-dd”。 父主题： 源端作业参数说明
表2 国家基础信息表（country） 字段名称 字段类型 字段说明 countryid smallint 国家编码 country_en string 国家英文名称 country_cn string 国家中文名称 表3 更新时间信息表（updatetime） 字段名称 字段类型
fromJobConfig.formats参数说明 参数 是否必选 类型 说明 name 是 String 列号，例如：“1”。 value 是 String 时间格式，例如：“yyyy-MM-dd”。 父主题： 源端作业参数说明
如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 父主题： 关键操作指导
类型：整型。 默认值：无。 否 X-ratelimit-used 此字段携带剩下请求数。 类型：整型。 默认值：无。 否 X-ratelimit-window 此字段携带流控单位。 类型：字符串。单位按照分钟、小时、天。 默认值：小时。
如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 新增字段 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。
因此在CDM迁移数据到云搜索服务的时候，如果是通过CDM自动创建的索引和类型（例如图2中，目的端的“date_test”和“test1”在云搜索服务中不存在时，CDM会在云搜索服务中自动创建该索引和类型），则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd HH:mm:
解决方案 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 父主题： 故障处理类
index 类型 Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明： Elasticsearch搜索引擎7.x及以上版本不支持自定义类型，只能使用_doc类型。此处即使自定义也不会生效。
CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。
文件/路径过滤器 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。
需先在密钥管理服务中创建密钥。 toJobConfig.projectID 否 String KMS密钥所属的项目ID。
文件/路径过滤器 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。
如果这几种类型中，有合并做rowkey的，就依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 false：源端数据库中所有类型的数据，都会按照字符串写入HBase。 父主题： 目的端作业参数说明
表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
