检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
结果,会返回此错误信息。) 请先确认数据服务访问日志,如果访问日志中有数据(数据略有延迟),则说明数据源取数时间过长,请尽量优化取数sql逻辑。 如果访问日志中无数据,请确认(共享版:数据服务gateway/专享版:数据服务集群)是否运行中。 APIG.0303 Incorrect
表5 TableInfo 参数 是否必选 参数类型 描述 database 否 String 数据库名称。 schema 否 String 逻辑库名称。 table 否 String 表名称。 表6 ColumnLineage 参数 是否必选 参数类型 描述 name 是 String
如果您需要匹配多条消息记录,可以添加多个Dummy节点并分别添加到Subjob节点的IF条件,然后将数据开发组件配置项中的“多IF策略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。
String 上游血缘资产类型。 source_db String 上游血缘资产数据库。 source_schema String 上游血缘资产逻辑库。 source_table String 上游血缘资产表。 target_guid String 下游血缘资产guid。 target_qualified_name
略规定的情况下流出企业。 API安全管理相关工具平台提供内部接口和外部接口的安全管控和监控审计能力,保障数据传输接口安全。 数据删除是一种逻辑删除技术,为保证删除数据的不可恢复,一般会采取数据多次的覆写、清除等操作。 隐私计算通过实现数据的可用不可见,从而满足隐私安全保护、价值转化及释放。
参数类型 描述 catalog 否 String 目录名称 database 否 String 数据库名称 schema 否 String 逻辑库名称 table 否 String 表名称 表6 ColumnLineageV2 参数 是否必选 参数类型 描述 input_columns
ize表示分页后的页面大小,pageNum表示页码。 图4 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)排序配置:默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为
默认值保持默认,无需填写。 再次单击“添加”,按照id1参数的配置信息再配置id2。 配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置取数逻辑 “取数方式”选择“配置方式”: 选择数据源、数据连接、数据库和数据表,获取到需要配置的表。 数据服务仅支持部分数据源,详情请参见DataArts
“读取方式”选择“HDFS”时显示此参数。 该参数表示抽取指定值的partition,属性名称为分区名称,属性值可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时
表ID,ID字符串。 biz_type 是 String 表类型,默认是TABLE_MODEL。 枚举值: TABLE_MODEL: 关系模型(逻辑模型/物理模型) AGGREGATION_LOGIC_TABLE: 汇总表 FACT_LOGIC_TABLE: 事实表 DIMENSION:
例如,脚本变量定义中设置的格式为${dlf.},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,abc;如果参数是字符串类型需要加上英文的双引号(""),如"05"。 关于EL表达式的使用,请参见表达式概述。 描述 否
Alt + Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持系统函数功能。 单击编辑器右侧的“函数”,显示该数据连接类型支持的函数,您可以双击函数到编辑器中使用。 支持脚本参数。 在SQL语句中直接写入脚本参数,然后在编辑器右侧的“参数”处选择“
E和UPDATE BEFORE数据。 logical.delete.enabled boolean true - 逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对
}中所选的字段。系统支持对定义关系进行语义校验。 在自定义规则模板时,在定义关系时,如果出现非数字时,只能输出运行结果,不能进行四则运算、逻辑运算和绝对值。 自定义规则模板的定义关系目前最多支持10张表20个字段。 自定义的SQL表达式有如下要求: 关系表达式中最多支持五列输出。
根据实际需要填写备注信息。 配置指标数据信息。 图3 指标数据信息 表2 指标数据信息参数 参数说明 说明 *计算公式 定义指标定义的计算逻辑,以便指导开发者根据计算公式设计原子指标、衍生指标。指标定义是为了指导指标开发的落地,实际并不做运算。 例如,过去一年中,地区订单总金额 /
数据治理度量评分规则 数据治理成熟度评估分5个级别: 级别1是最低级别,数据治理处于初始级别,空白状态,没有相关流程及数据治理管控。 级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。 级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
发现敏感数据 完成了敏感数据识别规则组定义后,就可以根据定义的规则来创建敏感数据识别任务,发现敏感数据,并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后,为使该识别规则在静态脱敏任务中生效,必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”,使规则状态变更为“有效”。
数据模型数量增量包用于扩充数据模型数量配额。 不同版本的DataArts Studio实例,默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。