检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> API管理”页面,在待修改的API所在行,选择“更多 > 设置可见”。 在弹出的窗口中单击添加,填写项目ID并确认,即可设置此API在服务目录中额外对以该项目下的用户可见。 项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在
您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。 下载的流程模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。 表3 流程导入参数说明
端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELEC
当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。
运行状态为正在“运行中”的任务不允许被删除。 删除敏感数据发现任务会删除对应任务的识别结果,请谨慎操作。 删除操作无法撤销,请谨慎操作。 查看运行实例日志:在敏感数据发现页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“操作 > 查看日志”,查看运行实例日志。 运行失败
网关管理接口 获取网关实例(专享版) 获取网关分组 父主题: 数据服务API
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 授权使用实时数据集成 (可选)自定义工作空间角色 添加工作空间成员和角色
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
DataArts Studio采用基础包+增量包的计费模式。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
运维管理接口 获取任务执行结果列表 获取实例结果 数据质量运维管理操作处理&记录 父主题: 数据质量API
使用前必读 概述 调用说明 基本概念 终端节点Endpoint 项目ID和账号ID 实例ID和工作空间ID 数据资产guid 约束与限制
支持手动输入,也可以在下拉列表中选择已经创建的维度。维度的创建请参见新建维度。 已创建的统计维度来自数据架构模块。 单击“查看映射关系”,可以查看映射关系配置的维度信息,并选择维度对应的字段。 例如,该示例中,统计维度设置为地区。 时间周期 在下拉框中选择所需要的时间周期,并选择关联的字段。系统预置了一些
作业参数为作业级的参数,可用于作业中的任意节点。 当前作业 ${作业变量} ${作业常量} 配置方法请参考:配置作业参数 脚本参数 配置自定义字段的参数名称和参数值。 当前脚本 ${脚本参数} 配置方法请参考:脚本参数 SQL脚本的变量格式有${}和${dlf.}两种,支持用户根据实际情况进行配置。配置的变量格式
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 instance 是 String 实例ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数
工作空间内的API配额已满,无法新建API怎么解决? DataArts Studio实例下数据服务专享版的API总分配配额默认为5000,如果工作空间内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的“空间
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API