检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
connection_id 是 String 数据连接id,可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 database_name 是 String 数据库名称。 table_name 否 String 指定查询表的名称。 limit 否 String
strings ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 data data
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型
否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
新建指标 管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
Redis数据连接参数说明 表1 Redis数据连接 参数 是否必选 说明 数据连接类型 是 Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postma
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
(推荐)通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig
数据架构使用流程 DataArts Studio数据架构的流程如下: 图1 数据架构流程 准备工作: 添加审核人:在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心:数据架构中提供了丰富的自定义
OpenSource ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)。
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of CatalogVO objects CatalogVO信息。 表7 CatalogVO 参数 参数类型 描述 name_ch
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
查询作业 功能介绍 查询作业接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String