检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题: 开发数据服务API
图9 配置并行处理算子 拖拽“输出处理”算子到画布,挂载到3个普通API算子下。单击画布上的输出处理算子打开配置面板,添加结果集映射。 为能够输出3个普通API算子的结果,需要配置3条映射记录。
任务数统计 统计5分钟内启动执行的算子实例数,任务表示作业中的算子,可查看30天内的数据。 可以通过时间进行筛选,查看30天以内的每一天的启动执行的算子实例数据。 支持查看启动作业执行的全部节点算子实例数的曲线图。 支持查看启动作业执行的不同类型节点算子实例数的曲线图。
进入作业画布界面后,选择MRS Spark作业算子,配置算子相关参数,配置指导请参见MRS Spark。 配置调度周期。调度周期设置为天。 图3 配置调度周期(天) 配置天任务依赖分钟任务的依赖关系。
可能原因 当前用户未同步至DWS数据源,或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源,然后为其授予DWS Database Access权限,再次进行联通性测试。 父主题: 数据安全
展示用户Flink作业的最大算子时延时间,单位ms ≥ 0ms 实时处理集成作业 1分钟 作业最大算子反压 展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重 ≥ 0 实时处理集成作业 1分钟 操作步骤 参考访问DataArts Studio实例控制台,登录
类型如下:Dummy、CDM Job、MRS Hive SQL、MRS Spark SQL、DLI SQL、DLI Spark、Python、DWS SQL、Shell等作业算子。 说明: 此处只是列举一些算子,以实际为准。
说明: 在返回响应中,仅DLI SQL或者DLI SPARK算子会返回DLI队列名称。 planTime 是 Long 作业实例计划执行时间。 startTime 是 Long 节点实际执行开始时间。 endTime 否 Long 节点实际执行结束时间。
AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 批量打标签(邀测) 父主题: 数据目录API
在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM ReadOnlyAccess”已生效。 父主题: 数据集成(CDM作业)
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
批量血缘(邀测) 批量血缘接口,一次性获取所有作业算子的血缘。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 表关联作业算子列表(邀测) 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。
data_connection_id=2d9dcb2076b34bbab1c675f070d6af9d&quality_score_dimension=technology 响应示例 状态码: 200 Success { "trends" : [ { "score" :
data_connection_id=2d9dcb2076b34bbab1c675f070d6af9d&database_name=postgres&table_name=public.test 响应示例 状态码: 200 Success { "count" : 1, "rules
请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/scoring 响应示例 状态码: 200 Success { "full_score" : 100 } 状态码 状态码 描述 200 Success 400
请求示例 GET /v2/0833a5737480d53b2f25c010dc1a7b88/quality/report/business/scores 响应示例 状态码: 200 Success { "count" : 1, "scores" : [ { "id"
database_name" : "postgres", "database_score" : 65.0, "table_name" : "public.test", "table_score" : 0.0 } ] } 状态码 状态码 描述 200 Success
data_connection_id=2d9dcb2076b34bbab1c675f070d6af9d&quality_score_dimension=technology 响应示例 状态码: 200 Success { "score" : 56.75, "ranges"
作业算子失败重试默认策略 设置作业算子失败重试默认策略后,仅对当前工作空间作业新增的作业算子生效,历史作业算子默认值不受影响。系统初始默认值为否。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“作业算子失败重试默认策略”配置项。