检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
28个字符。 DQC作业类型 是 数据质量作业的类型: 质量作业 对账作业 质量作业名称 是 DQC作业类型为质量作业时需要配置。选择在数据质量模块中创建的质量作业名称。如何创建质量作业,请参见的新建数据质量作业。 是否忽略质量作业告警 是 DQC作业类型为质量作业时需要配置。
PI工作流,最终返回所需数据。 API编排使得业务流程的设计和优化变得更加直观和高效,同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据
任务的实际运行情况进行监控,当预测到基线上任务无法在基线预警时间(基线承诺时间-预警余量)内完成时,系统将根据该基线定义的基线报警接收人发送基线报警信息。 告警类型 基线预警 基线监控的链路上,首个没有在预警时间(任务节点粒度)完成的任务节点。 基线破线 基线破线报警需满足以下两个条件:
数据开发API(V2)概览 表1 数据开发API(V2)类型 类型 说明 作业开发 作业开发类型接口。 作业开发 表2 作业开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建补数据实例 创建一个补数据实例。 100 10 查询补数据实例 查询补数据实例列表,支持分页查询。
间、用户或用户组进行筛选),系统默认展示其通过角色(包含空间权限集、权限集和角色)或权限申请和审批流程所获取的权限。在权限结果中,支持筛选不同的数据源类型,并通过集群名称、库名、schema、表名或列名检索。 图2 查看用户权限 父主题: 数据安全运营
{ "name": "fromJobConfig.maxPollRecords", "value": "100" },
异常表任务状态,UNSUPPORTED表示不支持异常表,READY表示准备中,RUNNING表示运行中,FAILED表示失败,SUCCESS表示成功。 results Array of objects 结果集。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC
数据目录数据搬迁依赖于管理中心的资源迁移功能,详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。 勾选需要解锁的作业,单击 > 批量解锁。弹出“解锁成功”提示。 图1 批量解锁 父主题: (可选)管理作业
Resource参数说明 参数名 是否必选 参数类型 说明 id 是 String 资源ID,用户查询资源时使用。 name 是 String 资源名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 type 是 String 资源类型,包含: archive file
参数 参数类型 描述 id String 编码,填写String类型替代Long类型。 relation_id String 关系ID,填写String类型替代Long类型。 source_field_id String 源字段ID,填写String类型替代Long类型。 target_field_id
业名称,选择“拷贝另存为”。 图1 复制作业 在弹出的“另存为”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 图1 显示脚本复选框 勾选需要解锁的脚本,单击 > 批量解锁。弹出“解锁成功”提示。 图2 批量解锁 父主题: (可选)管理脚本
表3 参数说明 参数名 是否必选 参数类型 说明 alarm_info 否 List<AlarmInfo> 通知记录信息,请参考表4。 total 否 Integer 通知记录数量。 表4 AlarmInfo数据结构 参数名 是否必选 参数类型 说明 alarm_time 否 Long
批量审批ID,填写String类型替代Long类型。 tenant_id String 项目ID。 group_id String 组ID,填写String类型替代Long类型。 biz_name String 业务名。 biz_id String 业务ID,填写String类型替代Long类型。 operation_status
LAUNCHING:提交中 RUNNING:运行中 FINISHED:执行成功 FAILED:执行失败 results 是 List<Result> 执行结果 message 否 String 执行失败消息。 表4 Result数据结构说明 参数名 是否必选 参数类型 说明 message
据安全”模块,进入数据安全页面。 单击左侧导航树中的“文件水印”,默认进入水印注入页面。 图1 进入水印注入页面 在水印注入页面输入基本信息,参数配置请参考表1。 表1 水印注入参数配置 参数名 参数描述 *数据类型 选择文件类型。 结构化数据(csv、xml和json)。支持注
关联资产,数据类型Map<String, Entity>,key:guid,value:资产信息。 表7 Entity 参数 参数类型 描述 version Number 数据版本。 relationship_attributes Object 关联关系属性,数据类型Map<String
为更好地识别队列权限,此处加以描述信息。 图2 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS Yarn队列详情 图4 DLI队列详情
配置作业调度为年调度 场景描述 在配置作业配置调度时,可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度,请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实