检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用数据开发API时,有多个DataArts Studio实例时必选。 只有一个DataArts实例时可选。不填写则默认查询default工作空间数据,如需查询其他工作空间需要带上该消息头。 调用其他组件API时必选,否则会调用失败。 d1cd7861478748a6925bc02f47c69279
以指定存储模式: 行模式:表的数据将以行式存储,适用于点查询(返回记录少,基于索引的简单查询),或者增删改比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查询(查询条件不确定,行模式表扫描难以使用索引)的场景。 行模式 导入模式
API 说明 查询业务资产 查询业务资产,包含数据规范同步过来的业务对象和逻辑实体。 查询业务资产目录树 逐级查询业务资产目录树,包含数据规范同步过来的业务对象和逻辑实体。 指标资产接口 表3 指标资产接口 API 说明 查询指标资产目录树 查询指标资产目录树。 查询指标资产 指标资产查询接口。
欢迎使用数据治理中心DataArts Studio服务。DataArts Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数
Studio进行数据开发工作,被项目管理员赋予了“开发者”的预置角色。但该数据开发工程师还需要修改数据架构的配置中心的DDL模板用于数据开发,而“开发者”的预置角色不具备该权限。管理员如果直接赋予该数据开发工程师“管理员”的预置角色,则会出现权限过大的风险。 为了解决此问题,项目管理员可以创建一个基
writeToLink 否 String 脏数据要写入的连接,目前只支持写入到OBS连接或HDFS连接。例如:“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
需要用户通过作业的导出功能进行备份。 如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 CDM迁移,当目的端为DWS和NewSQL的
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
配置Oracle源端参数 作业中源连接为Oracle数据库连接,源端作业参数如表1所示。 表1 Oracle作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时
Model)是《数据管理能力成熟度评估模型》GB/T 36073-2018国家标准,是我国首个数据管理领域正式发布的国家标准。旨在帮助企业利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。 图1
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String IAM Token 最小长度:0
Dummy 功能 Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中
SZ,如1970-01-01T00:00:00Z。 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 请求参数
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String IAM Token 最小长度:0
CONDITION_TYPE_LE:小于等于 CONDITION_TYPE_LIKE:模糊查询如:%like% CONDITION_TYPE_LIKE_L:模糊查询如:%like CONDITION_TYPE_LIKE_R:模糊查询如:like% 表8 ApiResponsePara 参数 是否必选 参数类型
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
管理工作空间 创建并管理工作空间 设置工作空间配额 (可选)修改作业日志存储路径
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
动运行,每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图9所示。 图9 查看作业执行情况 父主题: 图数据自动化构建与分析