检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
互斥组配置完成后,在同一个互斥组内的作业,只能有一个作业是运行中,其他作业生成实例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度后(不包括暂停调度),其他作业需要重新抢锁才能运行,系统会随机选择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。
MatchedTopicMsg 参数 参数类型 描述 id String 主题ID。 name String 主题名称。 表6 NameType 参数 参数类型 描述 name String 名称。 type String 类型。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: 数据质量
数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏感数据发现任务,脱敏策略,静态脱敏任务和数据水印任务。
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
OBS桶不存在。 请检查OBS桶。 400 DLF.2014 The job object type is invalid. 作业类型不合法。 请检查作业类型。 400 DLF.3004 The job name cannot be left blank. 作业名称不能为空。 请检查作业名称。
Content-Type消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 解决方案 修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题:
Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了DataArts Studio服务支持
数据集成API概览 表1 数据集成API类型 类型 说明 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 集群管理类型接口。 作业管理 表2 作业管理 API 说明 流控策略 查询作业 查询作业接口。 cdm_common 随机集群创建作业并执行 随机集群创建作业并执行接口。
阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。 图1 作业重跑 父主题: 数据质量
SDK包和数据服务SDK包两种开发包,功能和差异如表1所示,您可以根据您的使用场景进行选择。 表1 DataArts Studio 不同SDK包对比 SDK包类型 功能 支持的组件 支持的语言 获取地址 REST API SDK包 REST API SDK是基于DataArts Studio REST
概述 欢迎使用数据治理中心DataArts Studio服务。DataArts Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,
障时间。 前提条件 已完成数据开发作业的开发和调度配置。 配置作业节点失败重试 您可以通过关键业务作业中的节点配置,逐一开启节点失败重试;也可以通过批量作业配置,统一开启各作业中的节点失败重启。本章节以批量作业配置为例,为您介绍如果配置作业节点失败重试。 参考访问DataArts
申请API授权时,仅支持通过应用授权的方式,暂不支持白名单授权方式。 APP认证方式的API只能授权给APP类型的应用。 IAM认证方式的API只能授权给IAM类型的应用。 申请将API授权给应用 使用APP或IAM认证方式的API,在将API授权后,才能进行API调用。授权
c。此处的“参数”需要在Python脚本中引用,否则配置无效。 交互式参数 填写交互式参数,即执行Python脚本的过程中,需要用户输入的交互式信息(例如密码)。交互式参数之间以空格分隔,Python语句根据交互情况按顺序读取参数值。 在编辑器中编辑Python语句。为了方便脚本开发,数据开发模块提供了如下能力:
job2作为子作业引用执行。实际使用中您可以引用已有作业,也可以使用其他作业节点替代Subjob节点。 作业的调度方式设置为“事件驱动调度”,连接名称和Topic选择为工作空间B中的Kafka连接和Topic,需要与工作空间A中job1作业中Kafka Client节点所选择的K
e)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。 父主题: