检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
queue String DLI队列。 regular_expression String 当规则模板为正则表达式校验时的正则表达式。 template_arguments String 模板参数。 weight Integer 规则权重。 calculation_range String
索用户指南》的SQL跨源连接。 DLI导入数据到CloudTable时,CloudTable的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的“标准模板管理”定制数据标准模板。 图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后
在原子指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
在复合指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入复合指标 下载复合指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX: 汇总表指标属性
以独立调度,具体请参见配置作业调度任务(实时作业)。 创建方式 选择作业的创建方式。 创建空作业:创建一个空的作业。 基于模板创建:使用数据开发模块提供的模板来创建。 选择目录 选择作业所属的目录,默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级,提供高、中、低三个等级。
ImportRuleSecrecyLevelDto 参数 是否必选 参数类型 描述 builtin_rule_id 否 String 内置规则模板id。 secrecy_level 否 String 密级id,获取方法请参见获取数据密级。 响应参数 状态码: 200 表5 响应Body参数
双引号("),则下载以后查看结果如下图所示。 模板 在开发Hive SQL、Spark SQL单任务作业时,系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板。同时,系统提供了多个Hive SQL、Spark SQL的公共模板,便于用户在开发常用的SQL语句时进行参考。 父主题:
resource_id 是 String 资源ID。 type 是 String 需要导入的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业。 strategy 否 String 导入出现同名资
监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时,会进行分区扫描操作,默认是单并发操作,当Hudi单次commit涉及的分区较多时,考虑增大该值以提升commit速度。 单次Commit的分区数量 <=
对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。 落实本领域信息架构的建设和遵从,负责本领域数据资产的看护,维护相应数据标准和数据目录并更新发布。 承接上下游数据需求,并主动根据领域内
Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POST
业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。 业务级别 支持提示、一般、严重和致命四种业务级别,业务级别决定发出通知消息的模板样式。 规则组配置 定义规则组 规则组包含一个或者多个规则,规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击,可插入多条规则。
(DWI)又称数据整合层。DWI整合多个源系统数据,源系统进来数据会有整合、清洗,基于三范式关系建模。 DWR Data Warehouse Report (DWR)又称数据报告层。 DWR基于多维模型,和DWI层数据粒度保持一致。 DM Data Mart (DM) 又称数据集市。DM面向展现层,数据有多级汇总。
Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POST
在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。 图4 导入衍生指标 下载衍生指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
不可修改,SQL语句中的参数可以按照参数名进行排序。 支持SQL编辑器风格配置。鼠标放置在上,单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”,在“编辑器配置”里面可以对SQL查询结果展示进行配置。
监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时,会进行分区扫描操作,默认是单并发操作,当Hudi单次commit涉及的分区较多时,考虑增大该值以提升commit速度。 单次Commit的分区数量 <=
SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX: 汇总表指标属性