检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题： 数据质量
作业开发功能提供如下能力： 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力，支持多人协同开发场景。
业务指标 经过数据调研和需求分析之后，您需要根据需求落地指标。指标是衡量目标总体特征的统计数值，是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。
本入门指南以某市出租车出行数据为例，统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研，数据治理业务流程设计如图1所示，后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析，可以提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。 在本示例场景下，当前面临的数据问题如下：
2021/2/9 数据说明如下： 表1 用户数据说明 字段名称 字段类型 字段说明 字段取值 user_id int 用户ID 脱敏 age int 年龄段 -1表示未知 gender int 性别 0表示男 1表示女 2表示保密 rank Int 用户等级 有顺序的级别枚举，越高级别数字越大
分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明： 定义数据分类规则，名称必须唯一。
管理脱敏策略 在实际生产中，会存在数据分析部门需要对数据进行数据分析，数据中存在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件
据在数据库中的存放，例如：所选的数据仓库是DWS或MRS_Hive。 维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组
问题描述 关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型，对应三范式建模。 维度建模为分析性模型，主要包括事实表、维度表的设计，多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台，维度建模使用的场景比较多。 父主题： 数据架构
逻辑实体, 子逻辑实体是在父逻辑实体的基础上增加了特有属性，父逻辑实体属性的修改会影响所有继承它的子逻辑实体。 标签 标签是用户自定义的标识，它可以帮助用户对数据资产进行分类和搜索。添加标签后，您就可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 单
Studio前的准备、数据源准备和数据湖准备。 数据开发，包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使得用户可以每天获取到最新的数据分析结果。 服务退订，如果不再使用DataArts Studio相关服务，请及时进行退订和资源删除。
解决方案 此类问题一般是由于用户不具备MRS集群操作权限导致的。 对于租户下新增的用户，需要在MRS集群列表的界面找到对应的MRS集群实例，手动单击同步。 操作如下： 进入MRS控制台，查看现有集群，单击对应的集群名称进入概览页。 图1 MRS集群实例 在“IAM用户同步”处，单击同步。
关联质量规则 当您完成表的新建和发布后，您可以在表中关联质量规则。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，完成质量规则的关联后，表发布后就会在DataArts Studio数据质量中自动创建质量作业，如果当前表已经发布，则系统会自动更新质量作业。
、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发，用户可进行数据管理、数据集成、脚本开发、作业开发、版本管理、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 在DataArts Studio数据开发模块中，您将完成以下步骤：
业角度按主题进行相似性组合和合并，并进行一致性处理，为数据分析决策服务，但是并不能直接用于分析决策。 维度建模 维度建模是从分析决策的需求出发构建多维模型，它主要是为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。 多维模型是由数
和事实表。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。 事实表：归属于某个业务过程的事实逻
ning，Failed，Succeeded，stopped。 其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息，包括历史执行记录、读取和写入的统计数据，在历史记录界面还可查看作业执行的日志信息。
考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明： 当子用户在创建作业时，子用户只能选择已经被分配的队列。 DLI的“default”队列为共享队列，仅用于用户体验，用户间可能会出现抢占
如何查看审计日志 概述 云审计服务（Cloud Trace Service，CTS）可以记录DataArts Studio相关的操作事件，用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后，系统开始记录DataArts Studio的相关操作，云审计服务的管理控制台保存最近7天的操作记录。
Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接云
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
