检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤1:流程设计 本入门指南以某市出租车出行数据为例,统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研,数据治理业务流程设计如图1所示,后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。
过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入,对于当天收入低于500进行预警。具体请参考如下步骤: 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。
的OBS桶。 为保证网络互通,OBS桶区域请选择和DataArts Studio实例相同的区域。如果需要选择企业项目,也请选择与DataArts Studio实例相同的企业项目。 使用OBS控制台创建桶的操作,请参见《对象存储服务控制台指南》中的创建桶。 上传数据到名称为“fast-demo”的OBS桶中。
企业版:基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
缺乏数据的质量管控和评估手段,数据不可信。 数据运营的挑战 数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。 数据运营成本高,数据未服务化,导致数据复制多、数据口径不一致,同时数据重复开发,造成资源浪费。
行流量)两个维度。退订DataArts Studio服务后不会再产生API调用,您也可以直接删除发布到APIG网关上的API。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
类似如下的结果: 1 SELECT * FROM demo_dm_db.dws_payment_type; 图22 查询结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
任务高级属性 单击“保存”完成作业的创建。 返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。 图13 迁移作业运行结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。 图8 元数据详情 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
有完善的数据管理团队和体系,拥有10~30名全职数据开发人员,中大型企业规模。 企业版 大型企业,多分支机构企业。 新版本模式 初级版 建设初期数据湖项目,主要为大数据开发场景的数据ETL任务管理,不涉及数据治理。 专家版 中小企业规模,具备全职数据开发治理人员,需要轻量数据治理能力,如数
在左侧导航树中,单击“审核中心”,在“待我审核”页签的列表中选中需要审核的对象,然后单击“批量审核”。 输入审核意见后,单击“批量通过”完成审核。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
为了能够给您提供更好的云服务使用体验,建议您优先完成实名认证。实名认证分为个人账号和企业账号认证,不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证,可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后,请耐心等待审核结果,最长3个工作日内完成审核。
DLI审计日志:DLI日志列表默认展示日志信息。单击日志名查看日志详情,可查看当前日志的全量信息。 图4 DLI审计日志列表 父主题: 数据安全运营
另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图以敏感数据保护为例查看该检查项目前的风险等级及诊断结果。 图3 安全诊断结果 父主题: 数据安全运营
DataArts Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts S
访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。
权限。在权限结果中,支持筛选不同的数据源类型,并通过集群名称、库名、schema、表名或列名检索。 图2 查看用户权限 父主题: 数据安全运营
务、智慧园区等行业,帮助企业快速定制数据运营端到端解决方案。 统一数据资产管理 全局资产视图、快速查看、智能管理、数据溯源和数据开放共享,从业务视角管理和查看数据,定义业务架构、业务分类和业务术语,统一管理资产访问权限。 数据运营全场景可视 数据治理运营过程可视,拖拉拽配置,无需
数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。
本章主要介绍如何创建静态脱敏任务,静态脱敏支持的源端和目的端可通过参考:静态脱敏场景介绍查看。 数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等,