检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层,第二层标识为L2层,第三层标识为L3。流程设计最小三层,最大可支持七层。一般从L1顶层开始设计。 示例如下,L1表示运营,L2表示门店运营,L3表示进销存管理。 图4 流程设计示例 导出流程 您可以将数据指
中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法,之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新,那只有通过重建这种方式更新。 重建数据表:先删除数据库中已有的表,再重新创建表。
Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源,
行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。 逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
指标设计 流程设计 指标定义 父主题: 数据指标
模型设计 数仓规划 关系建模 维度建模 数据集市 父主题: 数据架构
Studio数据连接参数。 *数据库 选择数据库。如果您还未创建数据库,可以前往DataArts Studio数据开发控制台进行创建,详情请参见新建数据库。 队列 DLI队列。该参数仅DLI连接类型有效 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。
同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,是最终成功设计数据库过程中必不可少的一个阶段。 本章节主要介绍以下内容: 逻辑模型设计注意事项 新建逻辑模型 新建逻辑实体并发布 逻辑模型转换为物理模型 通过逆向数据库导入逻辑实体 逻辑模型设计注意事项 不只针对当前业务现状,还要考虑业务将来的发展计划。
请选择和维度表、事实表相同的数据连接类型。 *数据连接 数据集市建议使用统一的数据连接。 *数据库 选择数据库。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。
规则。 通过逆向数据库导入事实表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中,使其变成事实表。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。 在事实表的列表上方,单击“逆向数据库”。 在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。
开发、治理等能力。DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts Studio包含如下功能组件: 管理中心 提供DataArts
√ √ √ × √ × 云数据库 RDS(云数据库MySQL) √ √ √ √ √ √ × 云数据库 RDS(云数据库PostgreSQL) √ √ √ √ √ × × 云数据库 RDS(云数据库SQL Server) √ × × √ × × × MySQL √ √ × × √ √
和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时,具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。 Oracle 连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。
目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema
通过逆向数据库导入码表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到码表目录中,使其变成码表。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 在左侧的码表目录树中,选中一个目录,然后在码表列表上方,单击“逆向数据库”。 在“逆
如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下: MySQL: create table city1(code varchar(10),name varchar(32));
Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生