N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N N 查询RDS驱动包 Y Y Y Y 新建DLI资源映射配置 N N N N 删除DLI资源映射配置 N N N N 查询DLI资源映射配置
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of RelationVO objects RelationVO信息。 表7 RelationVO 参数 参数类型 描述 id
配置DLI源端参数 作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。
cluster_name String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。 table_id String 数据表id,获取方法请参见获取数据源中的表。
批量配置作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
"dataasset.Database" ] }, { "attribute" : "typeName", "operator" : "IN", "value" : [ "dataasset.Database" ]
指标开发概述 指标是衡量业务特征的统计数值,用于体现企业某一业务活动的业务状况。指标通常分为原子指标和衍生指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。
配置行级访问控制 在业务开发过程中,存在多个开发者共同访问和维护同一张DWS表的场景,需要针对不同开发者设置不同行数据的访问权限。在这种场景下,您可以配置行级访问控制策略,为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后,通过策略同步,会将行级访问控制策略同
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of CatalogVO objects 查询到的审批单对象(CatalogVO)数组。 表7 CatalogVO 参数 参数类型
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
见配置DataArts Studio数据连接参数。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时,该参数有效。 更新已有表 如果从其他数据源逆向过来的表,在
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of CatalogVO objects CatalogVO信息。 表7 CatalogVO 参数 参数类型 描述 name_ch
新建指标 管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
//同步当前时间 "name":" task1", //动态脱敏策略名,不能与当前已有动态脱敏策略名重复 "database": "1", //数据库名 "table": "1", //数据表名 "column": "1", //字段名
MRS Spark数据连接参数说明 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为MapReduce服务(MRS Spark)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
调用API方式简介 创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,
您即将访问非华为云网站,请注意账号财产安全