检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
来源对象的“规则类型”包括“表级规则”,“字段级规则”和“自定义规则”。字段级规则可针对表中的具体字段配置监控规则。此处选择为表级规则,页面中其他设置项对应为表级规则配置项。 目的对象的“规则类型”由来源对象的规则类型自动生成。 数据连接 来源对象/目的对象支持的数据源类型:DWS、MRS
规则模板”处,新建规则模板。新建的规则模板系统会自动被划分为对应的规则类型(表级、字段级、跨字段级和多表多字段),模板类型显示为自定义模板。新建质量/对账作业应用自定义模板与其他内置模板选择方式相同,规则类型选择为“表级规则”、“字段级规则”、“跨字段级规则”或“多表多字段规则”后即可选择自定义模板,支持进行异常数据输出,不支持质量评分。
self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 configs 否 String 其他配置 model_id 否 String 所属模型ID model 否 WorkspaceVO object 模型信息。 表4 DimensionHierarchiesVO
支持的DDL:新增列。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。 其他限制 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值,源数据库in
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二
Studio实例根据不同版本,包含了不同的组件和规格,具体请参见如何选择DataArts Studio版本。 包年包月 DataArts Studio基础包不含其他相关云服务所产生的费用,例如弹性公网IP、对象存储服务等。 DataArts Studio基础包的计费详情,请参见数据治理中心价格详情。 DataArts
table_attributes Array of FactTableAttributeVO objects 事实表所有属性。 configs String 其他配置 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
dirty_out_suffix 否 String 异常表后缀。 alias 否 String 别名。 configs 否 String 其他配置。 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 api_id
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二
SQL写入数据,需要先进行Compaction后方可写入。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。 其他限制 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值,源数据库in
不支持大数据类型IMAGE、TEXT、NTEXT的删除操作。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。 其他限制 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值,源数据库in
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二
table_attributes Array of FactTableAttributeVO objects 事实表所有属性。 configs String 其他配置 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
table_attributes Array of FactTableAttributeVO objects 事实表所有属性。 configs String 其他配置 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能包含六种字
数据质量字段级别校验不支持对字段名为单个字母(例如:a,b,c,d...等)的字段进行校验。 数据对象 当“规则类型”选择“自定义规则”时,不需要配置该参数。其他规则类型均需要配置该参数,此处选择参考的数据字段。 选择表名时,搜索框支持大小写敏感。 参考数据对象 当“规则类型”选择“跨字段级规则”,
obs_bucket 否 String obs桶。 obs_location 否 String 外表路径 configs 否 String 其他配置。 owner 否 String 负责人。 tb_name 是 String 表名。 dw_id 否 String 数据连接ID。 db_name
SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 configs String 其他配置 dev_version String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。
dirty_out_suffix 否 String 异常表后缀。 alias 否 String 别名。 configs 否 String 其他配置。 self_defined_fields 否 Array of SelfDefinedFieldVO objects 自定义项。 api_id
异常表前缀。 dirty_out_suffix String 异常表后缀。 alias String 别名。 configs String 其他配置。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 api_id