检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
免费版:基于DLI的电商BI报表数据开发流程 示例场景说明 步骤1:数据准备 步骤2:数据开发处理 步骤3:服务退订
逆向数据库(关系建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
查看作业依赖关系图 您可以通过查看作业依赖关系视图,直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业,否则视图中仅能展示当前作业节点,无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订
企业版:基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
管理通知 用户可以通过通知管理功能配置作业通知任务,当作业运行异常或成功时向相关人员发送通知。 配置通知 为作业配置通知前: 已开通消息通知服务并配置主题。 作业已提交,且不是“未启动”状态。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
步骤3:服务退订 本开发场景中,DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。
步骤2:数据开发处理 本步骤通过BI报表原始数据,分析10大用户关注最多的产品和10大用户评价最差的商品,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
步骤2:数据集成 OBS数据迁移到DWS 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
步骤4:服务退订 本开发场景中,DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。
步骤2:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
导入模型,关系建模,维度建模,码表,业务指标以及流程架构 功能介绍 导入模型,关系建模,维度建模,码表,业务指标以及流程架构。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/models/action 表1 路径参数 参数 是否必选
步骤9:服务退订 本开发场景中,DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
查看用户的权限(成员权限视图) 数据安全支持权限清单查看,以当前实例下某工作空间的用户或用户组,查看其通过角色(包含空间权限集、权限集和角色)或权限申请和审批流程所获取的权限。 约束与限制 查看用户权限时,不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。