检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ts Studio组件功能,并分析后续的业务负载情况。 表1 业务调研表 序号 收集项 需收集信息描述 调研结果 填写说明 1 工作空间 企业大数据相关部门的组织和关系调查 本示例不涉及 用于合理规划工作空间,降低空间相互依赖的复杂度 各组织部门之间对数据、资源的访问控制 本示例不涉及
行流量)两个维度。退订DataArts Studio服务后不会再产生API调用,您也可以直接删除发布到APIG网关上的API。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
类似如下的结果: 1 SELECT * FROM demo_dm_db.dws_payment_type; 图22 查询结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
任务高级属性 单击“保存”完成作业的创建。 返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。 图13 迁移作业运行结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。 图8 元数据详情 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
标准编码唯一标识的,即如果导入模板中的某个标准编码在当前工作空间下已经存在,则系统会认为导入模板中标准编码所在的这组数据为已有数据。 在导入配置页签内,单击“下载数据标准导入模板”下载模板。打开模板,请根据业务需求填写好模板中的相关参数并保存。 模板中的参数说明如表3、表4所示,
的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载业务指标导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存
强管控。 企业模式:企业模式下DataArts Studio数据开发组件以及对应管理中心组件数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。企业模式的相关介绍请参见企业模式概述。 企业项目 DataArts Studio实例默认工作空间关联的企业项目。企业
源队列名称。 规则模板 模板名称 该参数定义如何对数据对象做数据质量监控。 来源对象的模板名称包含内置的规则模板和用户自定义的规则模板。 目的对象的“模板名称”由来源对象的规则类型自动生成。 说明: 模板类型与规则类型强相关,详情请参见表1。除去系统内置规则模板外,您也可关联在新建数据质量规则中新建的自定义模板。
在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 码表管理 数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许
u引擎的资源队列名称。 规则模板 模板名称 选择系统内置的或者用户自定义的规则模板。 说明: 模板类型与规则类型强相关,详情请参见表1。除去系统内置规则模板外,您也可关联在新建数据质量规则中新建的自定义模板。 当“规则类型”选择“字段级规则”,规则模板名称选择“正则表达式校验”或
目的 数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。
一站式的服务能力和稳定的数仓服务,让云上数据万无一失;免自建大数据集群、免运维,极大降低企业建设数仓成本。 图2 云上数据平台 基于行业领域知识库快速构建数据中台 通过应用华为在企业业务领域积累的丰富的行业领域模型和算法,帮助企业构建数据中台,快速提升数据运营能力。 优势 多行业支持 覆盖政务/税务/城市/交通/园区等各行业。
嵌入数据水印 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景: 规范数据外发流程 实现对企业内部人员数据外发进行有效流程化管理,非授权用户在数据外发前需审批,审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息,可以将
本章主要介绍如何创建静态脱敏任务,静态脱敏支持的源端和目的端可通过参考:静态脱敏场景介绍查看。 数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等,
有完善的数据管理团队和体系,拥有10~30名全职数据开发人员,中大型企业规模。 企业版 大型企业,多分支机构企业。 版本规格说明(新版本模式) DataArts Studio新版本模式下包含免费版、初级版、专家版和企业版,各版本支持的组件组件功能不同,如表2所示。 表2 DataArts
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。
MySQL数据迁移到MRS Hive分区表 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取、转换和加载,即通常
API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发作业时,单击页面上方的“前往发布”跳转到任务发布页面。 支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同