检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的“标准模板管理”定制数据标准模板。 图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后
在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。 图4 导入汇总表 下载汇总表导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的表英文名称和模板中的表英文名称相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
I,则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项目直接导出的API文件,也可以是通过模板填写的Excel文件,需要确保符合模板规范要求。 图5 导入API 导入成功后,即可在API列表中查看导入的API。 父主题: 管理API
规则类型:选择“表级规则”。 数据连接:选择在管理中心组件中创建的数据源连接。 数据对象:选择待统计的数据表。 其他参数保持默认即可。 规则模板: 模板名称:选择“表行数(DWS,HIVE,SparkSQL,ORACLE)”。 其他参数保持默认即可。 计算范围:选择“全表扫描”。 告警条件:非必填,保持默认即可。
据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据,使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集,并同步到OBS和MRS Hive中,然后通过Import
双引号("),则下载以后查看结果如下图所示。 模板 在开发Hive SQL、Spark SQL、Flink SQL脚本时,系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板,脚本模板的使用场景指导请参见引用脚本模板和参数模板的使用介绍。同时,系统提供了多个Hive SQL、Spark
索用户指南》的SQL跨源连接。 DLI导入数据到CloudTable时,CloudTable的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
表3 请求Body参数 参数 是否必选 参数类型 描述 type 是 String 批量导出的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业,report表示质量报告。 is_select_all
在复合指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入复合指标 下载复合指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
在原子指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
ImportRuleSecrecyLevelDto 参数 是否必选 参数类型 描述 builtin_rule_id 否 String 内置规则模板id。 secrecy_level 否 String 密级id,获取方法请参见获取数据密级。 响应参数 状态码: 200 表5 响应Body参数
以独立调度,具体请参见配置作业调度任务(实时作业)。 创建方式 选择作业的创建方式。 创建空作业:创建一个空的作业。 基于模板创建:使用数据开发模块提供的模板来创建。 选择目录 选择作业所属的目录,默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级,提供高、中、低三个等级。
resource_id 是 String 资源ID。 type 是 String 需要导入的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业。 strategy 否 String 导入出现同名资
业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。 业务级别 支持提示、一般、严重和致命四种业务级别,业务级别决定发出通知消息的模板样式。 规则组配置 定义规则组 规则组包含一个或者多个规则,规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击,可插入多条规则。
如下图所示。 模板 在开发Hive SQL、Spark SQL单任务作业时,系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板,脚本模板的使用场景指导请参见引用脚本模板和参数模板的使用介绍。同时,系统提供了多个Hive SQL、Spark SQL的公共模板,便于用户在开发常用的SQL语句时进行参考。
在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。 图4 导入衍生指标 下载衍生指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时
2400 120 全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板 下载EXCEL模板。 2400 120 申请管理接口 表3 申请管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询申请列表
queue String DLI队列。 regular_expression String 当规则模板为正则表达式校验时的正则表达式。 template_arguments String 模板参数。 weight Integer 规则权重。 calculation_range String
不可修改,SQL语句中的参数可以按照参数名进行排序。 支持SQL编辑器风格配置。鼠标放置在上,单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”,在“编辑器配置”里面可以对SQL查询结果展示进行配置。
在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心 > 标准模板管理”页面,修改新空间数据标准模板,完成后单击“确定”。 单击列表上方的“更多 > 导入”按钮,在弹出的导入窗口中,选择并上传需要导入的数据标准文件。