检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理维度表 维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击
GBASE连接参数说明 连接GBASE连接时,相关参数如表1所示。 表1 GBASE连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的
逆向数据库(维度建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作
新建事实表 归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。 新建事实表并发布 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控
分库连接参数说明 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明
查看汇总表详情 功能介绍 通过ID查看汇总表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/aggregation-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1)
更新汇总表 功能介绍 更新汇总表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,
配置离线处理集成作业 数据集成支持创建离线作业,通过在界面勾选源端数据和目的端数据,并结合为其配置的参数,实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。 本文为您介绍离线同步任务的常规配置,各数据源配置存在一定差异,请以配置作业源端参数及配置作业目的端参数为准
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间
配置DLI源端参数 作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称
新建汇总表 功能介绍 根据入参,手动创建汇总表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
CDM有哪些优势? 云数据迁移(Cloud Data Migration,简称CDM)服务基于分布式计算框架,利用并行化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE
批量配置作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的
查询API信息 功能介绍 查询API信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖工厂
获取下展信息与已发布实体的差异 功能介绍 当已发布的实体被编辑时,其会生成下展,该接口用于获取下展信息与已发布实体的差异。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/approvals/business/{biz_id}/diff
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli