检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看采集任务实例执行结果,确认分类结果是否匹配。勾选分类匹配字段前的复选框,单击“同步”,即可将分类和密级属性手动同步到资产。 父主题: 采集数据源的元数据
%like%表示忽略前后缀,进行字符匹配。 如果绑定字段忽略前后缀,能匹配绑定参数,则条件为真。 %like %like表示忽略前缀,进行字符匹配。 如果绑定字段忽略前缀,能匹配绑定参数,则条件为真。 like% like%表示忽略后缀,进行字符匹配。 如果绑定字段忽略后缀,能匹配绑定参数,则条件为真。
DM等? 本示例涉及DataArts Studio数据集成和数据质量、MRS Hive 了解作业的场景,用于进一步调查平台能力与客户场景匹配度 作业数量规模是多少? 本示例作业数量在20个以内 大致了解作业的规模,通常用算子数来描述,可通过表的数量估计 每日作业调度次数是多少? 没有特殊要求,次数不限
能越长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源PostgreSQL库名相同的DWS
转换器使用详情请参见字段转换器配置指导。 查找目的端字段:CDM支持搜索查找目的端字段名并匹配字段,如果需要可单击操作列下,进入匹配目的字段对话框,通过搜索关键字或者直接单击目标进行匹配。 删除字段:CDM支持删除原有表的默认字段,如果需要可单击操作列下删除字段,已移除的字段可
能越长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的DWS Schema中。
库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源Oracle库名相同的DWS Schema中。
宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 否
strings 连接名称列表。 search_all_attributes 否 Boolean 查询关键字是否匹配资产的名称描述信息,true:匹配所有属性,false:只匹配名称、描述,默认false。 tags 否 Array of strings 标签名称列表。 limit 是
源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考表6。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 库匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的Hudi库中。 自定义:数据将同步至自行指定的Hudi库中。 表匹配策略。 与来
标志位中的某一个匹配,表示节点执行失败。当“是否需要判断返回值”为“YES”时,显示该配置项。 请求失败标志位只支持英文字母、数字、“-”、“_”、“$”、“{”、“}”,多个值使用“;”分隔。 请求间隔时间(秒) 是 如果响应消息的返回值与请求成功标志位不匹配,将每隔一段时间查
图5 关联汇总表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
isBatchMigration 否 Boolean 是否为整库迁移。 fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“la
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
数据集成+数据开发+数据治理 需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
name”的数据库 database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的数据库中再匹配表名包含“table_name”的数据表 例如: 填写为“datatest”,则元数据实时同步将同步数据库名包含“datatest”的数据库中的数据表。
源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表5 源库表和目标匹配策略 同步场景 配置方式 整库 库匹配策略。 与来源库同名:数据将同步至与来源Oracle 库名相同的Hudi库中。 自定义:数据将同步至自行指定的Hudi库中。 表匹配策略。 与
Array of strings smn主题。 matched_topics Array of MatchedTopicMsg objects 匹配到的主题信息。 directories Array of strings 数据质量目录信息。 queues Array of strings