检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学
新建:可查看或编辑新建表或DLI视图的DDL模板。 更新:可查看或编辑更新表或DLI视图的DDL模板。 删除:可查看或编辑删除表或DLI视图的DDL模板。 衍生指标:可以查看或编辑衍生指标的SQL模板。 复合指标:可以查看或编辑复合指标的SQL模板。 汇总表:可以查看或编辑汇总表的SQL模板。 “参考数据”
手动新建主题。 导入主题设计信息 如果主题信息比较复杂,建议采用导入方式批量导入主题信息。 您可以下载系统提供的主题设计模板,在模板文件中填写主题的相关参数后,使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。
准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理体系转变为常态
本”按钮手动增加保存版本。 模板 在开发Flink SQL单任务实时处理作业时,系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板,脚本模板的使用场景指导请参见引用脚本模板和参数模板的使用介绍。同时,系统提供了多个Flink SQL的公共模板,便于用户在开发常用的Flink
交的作业通过红色进行标识,未调度的作业通过黄色进行标识。 单任务作业支持SQL编辑器风格配置。单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 单任务SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”,在“编辑器配置”里面可以对SQL查询结果展示进行配置。
您需要重新发布表,才能使更新后的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下两种方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载关系建模导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。 导出的表文件 您可以将某个DataArts
u引擎的资源队列名称。 规则模板 模板名称 选择系统内置的或者用户自定义的规则模板。 说明: 模板类型与规则类型强相关,详情请参见表1。除去系统内置规则模板外,您也可关联在新建数据质量规则中新建的自定义模板。 当“规则类型”选择“字段级规则”,规则模板名称选择“正则表达式校验”或
Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。 数据源准备 本入门示例以某电商商城的BI报表数据为例,分析用户和商品的各种数据特征。 为方便演示,本示例提供了用于模拟原始数据的部分数据。为了方便将源数据集成到云上,我们需
业。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规则包含6个维度,分别是:完整性、唯一性、及时性、有效性、准确性、一致性。 可选:单击“新建”,可自定义创建规则。
batchOperateRules 创建规则模板 RuleTemplate createTemplate 删除规则模板 RuleTemplate deleteTemplate 查询规则模板列表 RuleTemplate getRuleTemplateList 更新规则模板 RuleTemplate
40 规则模板接口 表3 规则模板接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 获取规则模板列表 分页获取规则模板列表。 300 40 创建规则模板 创建规则模板。 300 40 获取规则模板详情 获取规则模板详情。 300 40 更新规则模板 更新规则模板
标准编码唯一标识的,即如果导入模板中的某个标准编码在当前工作空间下已经存在,则系统会认为导入模板中标准编码所在的这组数据为已有数据。 在导入配置页签内,单击“下载数据标准导入模板”下载模板。打开模板,请根据业务需求填写好模板中的相关参数并保存。 模板中的参数说明如表3、表4所示,
写“消息”和选择“协议”。 模板消息:按模板格式发送的消息,即固定格式的消息,可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格式的消息:单击“生成模板消息”,在弹出的对话框中,选择“模板名称”,并设置{tag}的值。
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业 对账作业可将
在数据架构控制台,单击左侧导航树中的“配置中心”。 单击“功能配置”页签。 配置“数据表更新方式”选择为“依据DDL更新模板”或“重建数据表”。 不更新:不更新数据库中的表。 依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的
CE”。在“导入表”对话框中,选择“导入配置”页签,单击“下载关系建模导入模板”。 图12 导入EXCEL 下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。
已有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件,可以通过以下两种方式获得。 下载流程模板并填写模板 在“导入配置”页签内,单击“下载流程模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存后,先添加再上传,完成模板上传。模板参数的详细描述请参见表3。
进行设置,详情请参见新建数据密级。 分类模板 分类类型选择“内置”,呈现此参数。如果选择“内置”,用户可以根据实际需要选择系统内置的敏感数据识别定义模板,例如:时间、手机号、车牌号。 分类名称 分类类型选择“内置”,分类名称自动关联分类模板生成。 分类类型选择“自定义”,用户可以自行填写分类名称。
被引用的数据识别规则无法直接删除,需要先解除引用关系后才能删除。 删除操作无法撤销,请谨慎操作。 测试内置规则模板:在“内置规则模板”页签可查看所有内置规则模板,并且根据输入的自定义样例数据,测试验证内置规则模板的识别结果。 父主题: 敏感数据治理