检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
筛选不同的数据源类型,并通过用户名、集群名称、数据库或表名检索。 权限申请和审批流程详见申请与审批权限。 图2 表-用户 “表-角色”页签:默认展示当前实例下,在角色(包含空间权限集、权限集和角色)中所授予的表权限。支持筛选不同的数据源类型,并通过角色、集群名称、数据库或表名检索。
权限申请接口 撤回工单申请 父主题: 数据安全API
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
Hudi作业配置 PostgreSQL同步到DWS作业配置 Oracle同步到DWS作业配置 Oracle同步到MRS Hudi作业配置 父主题: 数据集成(实时作业)
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
mi:表示分钟,取值为计划时间的分钟。 ss:表示秒,取值为计划时间的秒。 取N小时前、N分钟前的时间数据请参考表2,该参数不支持通过$[yyyy-N]、$[mm-N]等直接获取多少年前、多少月前的时间数据。 表2 计划时间参数获取说明 计划时间场景 获取方法 后N年 $[add_months(yyyymmdd
队列权限接口 查询当前空间下分配的队列资源 分配队列资源给指定空间 修改当前空间下分配的队列资源 删除当前空间下分配的队列资源 父主题: 数据安全API
汇总表接口 查找汇总表 新建汇总表 更新汇总表 删除汇总表 查看汇总表详情 父主题: 数据架构API
自定义项接口 查询自定义项 修改自定义项 父主题: 数据架构API
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略
DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题: 数据开发
可以查看基线预警的数据。支持查看今日预警的基线实例数量。当预测到基线上任务无法在基线承诺时间内完成时,将触发基线预警。 可以查看出错事件的数据。支持查看今日出错的事件数量。基线监控范围内的任务,即影响基线数据产出的任务执行出错将会产生出错事件。 可以查看变慢事件的数据。支持查看今日变
(可选)如需要将质量作业中不符合设定规则的异常数据存储在异常表中,可以打开“异常数据输出配置”开关。 图6 异常数据输出开关 单击开关,并打开“生成异常数据”按钮,表示异常数据将按照配置的参数存储到规定的库中。 图7 异常数据输出配置 各参数具体含义如下: 数据库或Schema:表示存储异常数据的数据库或Schema。
若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 选择数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
数据开发可以创建多少个作业,作业中的节点数是否有限制? 问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。
data Object 返回的数据信息。 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码: 403
下游血缘表列表,列表大小:1至100。 source_connection_id 是 String 源数据连接id。 target_connection_id 否 String 目标数据连接id。 column_lineages 否 Array of ColumnLineage objects
Dummy 功能 Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中
业务指标监控(待下线) 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题: 数据质量
表示只抽取该时间及以后的数据。 fromJobConfig.endTime 否 String 时间区间右边界(不包含该值),格式为“yyyy-MM-dd hh:mm:ss”。 表示只抽取该时间以前的数据。 fromJobConfig.formats 否 数据结构 时间格式,请参见fromJobConfig