检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务简介 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理,帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成
数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的
逻辑模型 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,是最终成功设计数据库过程中必不可少的一个阶段
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业
业务指标 经过数据调研和需求分析之后,您需要根据需求落地指标。指标是衡量目标总体特征的统计数值,是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点
作业开发流程 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知
DWS连接中的数据库用户,在非三权分立模式下至少需具备数据库dbadmin权限,三权分立模式下需具备系统管理员权限。 配置方法详见检查集群版本与权限。
权限管理 如果您需要对购买的DataArts Studio资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可
事件管理 基线任务及其上游任务出错,或关键路径上的任务变慢时,将会产生相应的事件,用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio
更新管理 更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
目录管理 获取所有目录 创建目录 修改目录 删除目录 父主题: 数据架构API
实例管理 获取实例列表 父主题: 管理中心API
管理通知 用户可以通过通知管理功能配置作业通知任务,当作业运行异常或成功时向相关人员发送通知。 配置通知 为作业配置通知前: 已开通消息通知服务并配置主题。 作业已提交,且不是“未启动”状态。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台
备份管理 通过备份功能,您可定时备份系统中的所有作业、脚本、资源和环境变量。 通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS
管理API 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API
步骤5:数据架构设计 DataArts Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 DataArts Studio数据架构建议的数据分层如下: SDI (
与其他云服务的关系 统一身份认证服务 DataArts Studio使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务(Cloud Trace Service