检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: 库匹配策略:配置目标数据库的匹配策略,使数据按照规划迁移至目标库。 用户需要提前创建对应数据库,否则可能导致后续自动建表失败。 与来源库同名:会迁移至目的端对应与来源库同名的数据库中。
分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选
是否将选做Rowkey的数据同时写入HBase的列。 否 WAL开关 是否写WAL,不写WAL能提升性能,但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型 是否匹配类型,例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题: 配置作业目的端参数
库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: Schema匹配策略:配置目标数据Schema的匹配策略,使数据按照规划迁移至目标库。 用户需要提前创建对应数据库,否则可能导致后续自动建表失败。 与来源库同名
新增:将文件记录直接插入指定的集合。 有则替换,无则新增:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果没有,则不会添加新记录。 新增 导入前准备语句 执行任务之前
扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看采集任务实例执行结果,确认分类结果是否匹配。勾选分类匹配字段前的复选框,单击“同步”,即可将分类和密级属性手动同步到资产。 父主题: 采集数据源的元数据
选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: 库匹配策略:配置目标数据库的匹配策略,使数据按照规划迁移至目标库。 用户需要提前创建对应数据库,否则可能导致后续自动建表失败。 与来源库同名:会迁移至目的端对应与来源库同名的数据库中。
%like%表示忽略前后缀,进行字符匹配。 如果绑定字段忽略前后缀,能匹配绑定参数,则条件为真。 %like %like表示忽略前缀,进行字符匹配。 如果绑定字段忽略前缀,能匹配绑定参数,则条件为真。 like% like%表示忽略后缀,进行字符匹配。 如果绑定字段忽略后缀,能匹配绑定参数,则条件为真。
DM等? 本示例涉及DataArts Studio数据集成和数据质量、MRS Hive 了解作业的场景,用于进一步调查平台能力与客户场景匹配度 作业数量规模是多少? 本示例作业数量在20个以内 大致了解作业的规模,通常用算子数来描述,可通过表的数量估计 每日作业调度次数是多少? 没有特殊要求,次数不限
转换器使用详情请参见字段转换器配置指导。 查找目的端字段:CDM支持搜索查找目的端字段名并匹配字段,如果需要可单击操作列下,进入匹配目的字段对话框,通过搜索关键字或者直接单击目标进行匹配。 删除字段:CDM支持删除原有表的默认字段,如果需要可单击操作列下删除字段,已移除的字段可
宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 否
标志位中的某一个匹配,表示节点执行失败。当“是否需要判断返回值”为“YES”时,显示该配置项。 请求失败标志位只支持英文字母、数字、“-”、“_”、“$”、“{”、“}”,多个值使用“;”分隔。 请求间隔时间(秒) 是 如果响应消息的返回值与请求成功标志位不匹配,将每隔一段时间查
strings 连接名称列表。 search_all_attributes 否 Boolean 查询关键字是否匹配资产的名称描述信息,true:匹配所有属性,false:只匹配名称、描述,默认false。 tags 否 Array of strings 标签名称列表。 limit 是
图5 关联汇总表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
isBatchMigration 否 Boolean 是否为整库迁移。 fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“la
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
REGEX_INSENSITIVE,GROOVY,LENGTH_EQ,LENGTH_GT,LENGTH_LT,BUILTIN match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression
数据集成+数据开发+数据治理 需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 高级属性 查询筛选 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“la