检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。 NoSQL Redis Hadoop:MRS HDFS,MRS HBase,MRS
通过Rest Client执行一个RESTful请求。目前支持IAM Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python
支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发作业时,单击页面上方的“前往发布”跳转到任务发布页面。
success_count 否 Integer 运行成功的实例数量 waiting_confirm_count 否 Integer 待确认执行的实例数量 waiting_count 否 Integer 等待运行的实例数量 total_count 否 Integer 实例总数 请求示例
在30天内的删除操作。 约束与限制 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以执行还原操作,其他普通用户无权限操作。 由于MRS纳管角色是继承的MRS数据源已有角色,非定义的数据安全数据,因此删除的纳管角色数据不会进入回收站。
适用bg。 create_by String 汇总表的创建人,只读,创建和更新时无需填写。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name
execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues
execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
路径。 last_run_time 否 String 最后一次执行时间。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 next_run_time 否 String 下一次执行时间。 duty_person 否 String 责任人。
STATUS_TYPE_PENDING_CHECK:待确认 STATUS_TYPE_PENDING_EXECUTE:待执行 STATUS_TYPE_SYNCHRONOUS_EXECUTE:同步执行 STATUS_TYPE_FORCED_CANCEL:强制取消 STATUS_TYPE_PASSED:已通过
String 路径。 last_run_time String 最后一次执行时间。 start_time String 开始时间。 end_time String 结束时间。 next_run_time String 下一次执行时间。 duty_person String 责任人。 update_type
参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 默认参数值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。 说明: 当通过数据开发任务调度质量算子的时候,优先使用数据开发中定义的参数值。 计算引擎 队列名称 选择
路径。 last_run_time 否 String 最后一次执行时间。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 next_run_time 否 String 下一次执行时间。 duty_person 否 String 责任人。
3600 40 数据安全诊断接口 表12 数据安全诊断接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 执行数据安全诊断 执行数据安全诊断。 1800 20 查询不合理的权限配置 查询不合理的权限配置。 3600 40 查询数据权限控制模块诊断结果 查询数据权限控制模块诊断结果。
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
tion作业的稳定性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 40
这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、PRESTO、ClickHous
据开发页面。 在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。
tion作业的稳定性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 40