检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景
当您的数据模型数量接近或达到该规格时,建议购买数据模型数量增量包,以避免数据架构设计受限。 包年包月 套餐包计费情况以实际费用为准。
流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。
作业开发 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,同时结合数据治理工作的特点设计了两个层面的度量评估: 表1 度量评估 度量评估工具 度量评估对象 度量评估方法 度量评估频次 数据治理成熟度评估 企业整体 调查问卷 年度 数据治理评分卡
在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,完成质量规则的关联后,表发布后就会在DataArts Studio数据质量中自动创建质量作业,如果当前表已经发布,则系统会自动更新质量作业。
发布主题设计 DAYU_DS dsSubject publishedSubject 下线主题设计 DAYU_DS dsSubject offlineSubject 删除主题设计 DAYU_DS dsSubject deleteSubject 查看流程设计 DAYU_DS dsBizCatalog
而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
物理隔离要求较低,能够开箱即用,快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群, 更丰富的特性。 满足内部API调用跟API开放,独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。
该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。
为了从根源上解决定义、研发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标中仅含有唯一度量,所含其它所有与该度量、该业务对象相关的属性,旨在用于支撑指标的敏捷自助消费。
模型配置 当您在主题设计、模型设计等过程中,如果需要进行如下操作,您可以通过本页面进行配置: 增加主题别名、表模型别名、字段别名。 启用密级。 设置长度。 增加表的自定义字段。 增加属性的自定义字段。
本章节主要介绍以下内容: 逻辑模型设计注意事项 新建逻辑模型 新建逻辑实体并发布 逻辑模型转换为物理模型 通过逆向数据库导入逻辑实体 逻辑模型设计注意事项 不只针对当前业务现状,还要考虑业务将来的发展计划。 必须有熟知业务的人员参与建模,将实际业务所需内容充分反映在模型中。
创建主题详细信息请参见数据架构的主题设计。 创建汇总表 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“维度建模”,然后选择“汇总表”页签。
流程设计:针对流程的一个结构化的整体框架,描述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。
导出流程 在数据架构主界面,单击左侧导航栏的“流程设计”,进入流程设计页面。 单击列表上方的“导出”按钮,直接导出所有流程。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。
帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成,向合作伙伴、开发者开放功能和数据。
获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Python插件,如果未安装,请按照图1所示安装。 图1 安装Python插件 获取SDK 登录DataArts Studio控制台。