检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。
该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
本章节主要介绍以下内容: 逻辑模型设计注意事项 新建逻辑模型 新建逻辑实体并发布 逻辑模型转换为物理模型 通过逆向数据库导入逻辑实体 逻辑模型设计注意事项 不只针对当前业务现状,还要考虑业务将来的发展计划。 必须有熟知业务的人员参与建模,将实际业务所需内容充分反映在模型中。
模型配置 当您在主题设计、模型设计等过程中,如果需要进行如下操作,您可以通过本页面进行配置: 增加主题别名、表模型别名、字段别名。 启用密级。 设置长度。 增加表的自定义字段。 增加属性的自定义字段。
流程设计:针对流程的一个结构化的整体框架,描述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。
帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成,向合作伙伴、开发者开放功能和数据。
导出流程 在数据架构主界面,单击左侧导航栏的“流程设计”,进入流程设计页面。 单击列表上方的“导出”按钮,直接导出所有流程。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。
数据服务 数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理,集约管理数据服务并减少数据调用和集成的开发成本。
获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Python插件,如果未安装,请按照图1所示安装。 图1 安装Python插件 获取SDK 登录DataArts Studio控制台。
用于标记当前API的属性,创建后可以通过标签快速检索定位API。单个API最多可设置20个标签。 审核人 审核人拥有API的审核权限。可单击“添加”,进入“审核中心 > 审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。
基于ISO8000标准,华为建立了数据质量管理框架和运作机制,每年例行开展两次公司级数据质量度量,从“设计“与”执行”两个方面度量数据质量,由公司数据Owner定期发布公司数据质量报告,牵引各业务领域持续改进数据质量。
获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 获取并安装PHP安装包,如果未安装,请至PHP官方下载页面下载。
本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。
设计数据质量规格,承接数据需求,对数据问题及争议进行裁决。 建设和维护本领域信息架构。 建立和推动领域数据文化和氛围。 数据代表(Data Representatives):数据代表是领域数据治理工作的专家带头人。
Y Y N N 删除主题设计 Y Y N N 查询主题设计 Y Y Y Y 编辑主题设计 Y Y N N 新建业务指标 Y Y N N 删除业务指标 Y Y N N 查询业务指标 Y Y Y Y 编辑业务指标 Y Y N N 新建汇总表 Y Y N N 删除汇总表 Y Y N N
全链路数据安全:DataArts Studio数据治理全链路包含数据集成、数据管理(架构设计、指标设计、数据质量管理)、数据开发、数据资产管理和数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。
结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织: 图1 数据治理工作组织 父主题: 数据治理组织架构
数据溯源主要用来对泄露数据进行快速溯源。通过对泄露数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息,从而对安全事件精准定位追责。