检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发
int 50000 DWS单次写入的最大条数,可在目的端配置中设置。 当缓存的数据达到“批写最大数据量”和“定时批写时间间隔”之一的条件时,触发数据写入。 单次写入条数增大可以减少请求DWS的次数,但可能导致单次请求时长增加,同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载,
datasource_qualified_name String 数据连接唯一标识名称。 obs_folder_count Integer obs目录数。 obs_file_count Integer obs文件数。 css_index_count Integer css索引数。 css_index_field_count
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
ptions”参数的CN参数值和DN参数值均为“enable_data_redaction”,修改操作详见修改数据库参数),且DWS数据连接中的账户要具备待脱敏表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码:400
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
已驳回 logic_tb_id 否 String 逻辑实体的ID,ID字符串。 biz_catalog_id 否 String 归属的业务分类的ID,ID字符串。 catalog_path 否 String 归属的业务分类的路径,格式: {"l1Id":"958408897973161984"
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value FactLogicTableVO object value,统一的返回结果的外层数据结构。 表6 FactLogicTableVO 参数 参数类型
可以直接选择对应的OBS桶中的边数据集csv文件,也支持选择对应的边数据集的OBS路径。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下,详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示,id是点数据的唯一标识。 id
PAUSED: 暂停调度 createUser 是 String 作业的创建者。 createTime 是 Long 作业的创建时间。 startTime 否 Long 作业的启动时间。 endTime 否 Long 作业配置的结束时间。 lastInstanceStatus 否 String
默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述