华为云用户手册

  • 响应示例 { "is_success": true, "message": "导入作业成功", "job_mapping": [ { "old_job_id": "100", "new_job_id": "200", "remark": "Job successfully created" } ]}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_mapping 否 Array of Objects 导入作业的信息。具体请参考表4。 表4 job_mapping参数说明 参数名称 是否必选 参数类型 说明 old_job_id 否 Long 导入的作业ID。 new_job_id 否 Long 导入后的作业ID,如果“is_cover”为“false”,服务中有同名的作业,则该参数返回值为“-1”。 remark 否 String 导入作业的结果信息。
  • URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。
  • 响应示例 { "is_success": "true", "message": "作业列表查询成功", "job_list": { "total_count": 26, "jobs": [ { "job_id": 146, "name": "aaaaa", "desc": "", "user_name": "", "job_type": "flink_sql_job", "status": "job_init", "status_desc": "", "create_time": 1578892414688, "duration": 0, "root_id": -1, "graph_editor_enabled": false, "has_savepoint": false } ] }}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_list 否 Object 作业列表信息。请参见表4。 表4 job_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 作业查询结果条数。 jobs 否 Array of Objects 作业信息。请参见表5。 表5 Jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 否 Long 作业ID。 name 否 String 作业名称。长度限制:0-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 user_name 否 String 用户名,当“show_detail”为“false”时独有。 job_type 否 String 作业类型。 flink_sql_job:flink sql作业 flink_opensource_sql_job:flink opensource sql作业 flink_sql_edge_job:flink sql边缘作业 flink_jar_job:flink自定义作业 status 否 String 作业状态。 status_desc 否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。“0”表示尚未启动。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id 否 Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled 否 Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。 user_id 否 String 作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否 String 作业所属项目标识。 “show_detail”为“true”时独有。 sql_body 否 String Stream SQL语句。 “”“show_detail”为“false”时独有。 run_mode 否 String 作业运行模式。包括共享、独享模式和边缘节点。“show_detail”为“true”时独有。 shared_cluster:共享 exclusive_cluster:独享 edge_node:边缘节点 job_config 否 Object 作业配置。 “show_detail”为“false”时独有。具体参数说明请参见表6。 main_class 否 String jar包主类。“show_detail”为“false”时独有。 entrypoint_args 否 String jar包作业运行参数。多个参数之间用空格分隔。“show_detail”为“true”时独有。 execution_graph 否 String 作业执行计划。“show_detail”为“false”时独有。 update_time 否 Long 作业更新时间。“show_detail”为“false”时独有。 queue_name 否 String 队列名称。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。 restart_times 否 Integer 重启次数。 savepoint_path 否 String 手动产生的Checkpoint的保存路径。 表6 job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true:开启 false:关闭 默认为“false”。 checkpoint_mode 否 String 快照模式,。两种可选: exactly_once:数据只被消费一次。 at_least_once:数据至少被消费一次。 默认值为“exactly_once”。 checkpoint_interval 否 Integer 快照时间间隔。 单位为秒,默认值为“10”。 log_enabled 否 Boolean 是否启用日志存储。默认为“false”。 obs_bucket 否 String OBS桶名。 smn_topic 否 String SMN 主题名。当作业异常时,向该SMN主题推送告警信息。 root_id 否 Integer 父作业ID。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。 manager_cu_number 否 Integer 管理单元CU数。默认为“1”。 cu_number 否 Integer 用户为作业选择的CU数量。 “show_detail”为“true”时独有。 最小值:2 最大值:400 默认为“2”。 parallel_number 否 Integer 用户设置的作业并行数。 “show_detail”为“true”时独有。 最小值:1 最大值:2000 默认为“1”。 restart_when_exception 否 Boolean 是否开启异常重启功能。 idle_state_retention 否 Integer 空闲状态过期周期。 udf_jar_url 否 String 用户已上传到 DLI 资源管理系统的程序包名,用户sql作业的udf jar通过该参数传入。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 executor_number 否 Integer 作业使用计算节点个数。 executor_cu_number 否 Integer 计算节点cu数。 resume_checkpoint 否 Boolean 异常自动重启时,是否从最新checkpoint恢复。默认值为“false”。 runtime_config 否 String Flink作业运行时自定义优化参数。 graph_editor_enabled 否 Boolean 流图编辑开关。默认为“false”。 graph_editor_data 否 String 流图编辑数据。默认为null。 resume_max_num 否 Integer 异常重试最大次数。-1代表无限。 checkpoint_path 否 String 检查点保存路径。 config_url 否 String 用户上传的config包OBS路径。 tm_cus 否 int 单TM所占CU数。 tm_slot_num 否 int 单TM Slot数。 image 否 String 自定义镜像 。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《 数据湖探索 用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。 basic:表示使用DLI提供的基础Flink镜像。 custom:表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并行度参数,以json的形式展示各算子id和并行度。 static_estimator_config 否 String 静态流图资源预估参数,以json的形式展示。 real_cu_number 否 Integer 实际使用的CU数。默认值为“0”,表示此时以“cu_number”的值为准。
  • URI URI格式 GET /v1.0/{project_id}/streaming/jobs 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 job_type 否 String 作业类型: flink_sql_job:flink sql作业 flink_opensource_sql_job:flink opensource sql作业 flink_sql_edge_job:flink sql边缘作业 flink_jar_job:flink自定义作业 status 否 String 作业状态码。 作业的状态如下: job_init:草稿 job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业) job_downloading:下载中 job_idle:空闲 job_canceling:停止中 job_cancel_success:已停止 job_cancel_fail:停止失败 job_savepointing:保存点创建中 job_arrearage_stopped:因欠费被停止(结束计费。用户账户欠费,作业停止) job_arrearage_recovering:欠费作业恢复中(用户账户欠费,账户充值,作业恢复中) job_finish:已完成 queue_name 否 String 队列名称。 order 否 String 查询结果排序。 asc:按照时间顺序升序排列 desc:按照时间顺序降序排列 默认为“desc”。 limit 否 Integer 返回的数据条数。默认为“10”,最大值为“100”。 name 否 String 作业名称。长度限制:0-57个字符。 offset 否 Integer 作业偏移量。 root_job_id 否 Integer 边缘父作业ID, 用于查询指定边缘作业的子作业。不使用该参数时, 查询所有非边缘作业和边缘父作业, 不包括边缘子作业。 show_detail 否 Boolean 是否返回作业详情信息。默认为“false”。为“true”时,返回作业详情。具体可见查询作业详情。 user_name 否 String 用户名,可作为筛选条件。 tags 否 String 指定标签过滤。
  • URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 obs_dir 是 String OBS路径,用于保存导出的作业文件。 is_selected 是 Boolean 是否导出指定的作业。 job_selected 否 Array of Longs 当“is_selected”为“true”时,该参数是待导出作业的ID集合。 说明: 当“is_selected”为“true”时,该参数为必选。
  • URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 offset 否 Long 作业偏移量。 limit 否 Integer 返回的数据条数。默认为“10”。 order 否 String 查询结果排序。 asc:升序 desc:降序 默认为“desc”。
  • 响应示例 { "is_success": "true", "message": "获取模板列表成功", "template_list": { "total_count": 2, "templates": [ { "template_id": 2, "name": "updatetest", "desc": "快速上手示例", "create_time": 1578748092000, "update_time": 1578748092000, "sql_body": "select * from source_table", "job_type": "flink_sql_job" }, { "template_id": 1, "name": "we", "desc": "qwe", "create_time": 1577951045000, "update_time": 1577951045000, "sql_body": "" } ] }}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template_list 否 Object 模板列表信息。请参见表4。 表4 template_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 模板总数。 templates 否 Array of Objects 模板详细信息。具体参数说明详见表5。 表5 templates参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Integer 模板ID。 name 否 String 模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。 job_type 否 String 作业模板类型。
  • 响应示例 { "is_success": "true", "message": "查询作业执行流图成功", "execute_graph": { "jid": "4e966f43f2c90b0e1bf3188ecf55504b", "name": "", "isStoppable": false, "state": "RUNNING", "start-time": 1578904488436, "end-time": -1, "duration": 516274 }}
  • 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 请求是否成功。 message 否 String 消息内容。 execute_graph 否 Object 查询作业计划的响应参数。具体请参考表3。 表3 execute_graph参数说明 参数名称 是否可选 参数类型 说明 jid 否 String flink作业id。 name 否 String flink作业名字。 isStoppable 否 Boolean 是否可停止。 state 否 String 作业运行状态。 start-time 否 Long 作业启动时间。 end-time 否 Long 作业停止时间。 duration 否 Long 作业运行时长。
  • URI POST /v3/{project_id}/{resource_type}/{resource_id}/tags/delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue:队列 dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包) dli_flink_job:Flink作业 resource_id 是 String 资源ID。 最小长度:1 最大长度:1000 获取方式: 队列ID:通过调用查询所有队列获队列ID。响应中的queue_id为队列ID。 弹性资源池ID:通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页面单击Flink作业名称,在Flink作业的详情页面即可获取Flink作业ID。
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags 是 Array of tag objects 标签列表。请参考表3。 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键不能重复,同一个键中值不能重复。 表3 tag 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags 是 Array of tags objects 标签列表。请参考表3。 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键不能重复,同一个键中值不能重复。 表3 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。 资源标签可以为空。
  • URI POST /v3/{project_id}/{resource_type}/{resource_id}/tags/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue:队列 dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_flink_job:Flink作业 resource_id 是 String 资源ID。 最小长度:1 最大长度:1000 获取方式: 队列ID:通过调用查询所有队列获队列ID。响应中的queue_id为队列ID。 弹性资源池ID:通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页面单击Flink作业名称,在Flink作业的详情页面即可获取Flink作业ID。
  • 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。 user_name 否 String 用户安全集群的新登录用户名。 password 否 String 用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否 String truststore配置文件密码。 keystore_location 否 String keystore配置文件obs路径。 keystore_password 否 String keystore配置文件密码。
  • 响应示例 { "name": "test2", "body": { "auto_recovery": false, "max_retry_times": 20, }, "group": "", "description": "", "type": "SPARK", "id": "3c92c202-b17c-4ed7-b353-ea08629dd671"}
  • URI URI格式 DELETE /v2.0/{project_id}/datasource/enhanced-connections/{connection_id} 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。具体为创建增强型跨源连接返回的连接ID。
  • 响应示例 [ { "is_success": "true", "message": "作业提交请求下发成功" }, { "is_success": "true", "message": "作业提交请求下发成功" }, { "is_success": "true", "message": "作业提交请求下发成功" }, { "is_success": "true", "message": "作业提交请求下发成功" }]
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 job_ids 是 Array of Long 批量作业ID。 作业ID可以通过创建作业接口或者查询作业接口获取。 resume_savepoint 否 Boolean 是否将作业从最近创建的保存点恢复。 当“resume_savepoint”为“true”时,表示作业从最近创建的保存点恢复。 当“resume_savepoint”为“false”时,表示不恢复正常启动。 默认为“false”。
  • 请求示例 使用ID为100000的模板创建名为myjob的Flink SQL作业,该作业执行在testQueue队列上以独享的模式运行。 { "name": "myjob", "desc": "这是个做字符记数的作业", "template_id": 100000, "queue_name": "testQueue", "sql_body": "select * from source_table", "run_mode": "exclusive_cluster", "cu_number": 2, "parallel_number": 1, "checkpoint_enabled": false, "checkpoint_mode": "exactly_once", "checkpoint_interval": 0, "obs_bucket": "my_obs_bucket", "log_enabled": false, "restart_when_exception": false, "idle_state_retention": 3600, "job_type": "flink_sql_job", "dirty_data_strategy": "0", "udf_jar_url": "group/test.jar"}
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 是 String 作业名称。长度限制:1-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 template_id 否 Integer 模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不为空,“sql_body”为空,选择“template_id”的内容填充“sql_body”。 queue_name 否 String 队列名称。长度限制:0-128个字符。 sql_body 否 String Stream SQL语句,至少包含source, query, sink三个部分。长度限制:1024*1024个字符。 run_mode 否 String 作业运行模式: shared_cluster:共享。 exclusive_cluster:独享。 edge_node:边缘节点。 默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。管理单元参数设置详见:manager_cu_number。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元(CU数量-管理单元)的4倍。 管理单元参数设置详见:manager_cu_number。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启:true 关闭:false 默认:false checkpoint_mode 否 Integer 快照模式,。两种可选: 1:表示exactly_once,数据只被消费一次。 2:表示at_least_once,数据至少被消费一次。 默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒,默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention 否 Integer 空闲状态保留时间。单位为秒,默认值为“3600”。 job_type 否 String 作业类型:flink_sql_job、flink_opensource_sql_job。 默认值:“flink_opensource_sql_job”。 “run_mode”为“exclusive_cluster”时,作业类型须为“flink_sql_job”或“flink_opensource_sql_job”。 “run_mode””为“shared_cluster”时作业类型必须为”flink_sql_job“。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数,默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数,默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数,单位:次/小时。取值范围:-1或大于0。默认值为“-1”,表示无限次数。 tags 否 Array of Objects Flink SQL作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
  • 响应消息 表4 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 Object 作业状态信息。具体请参考表5。 表5 job参数说明 参数名称 是否必选 参数类型 说明 job_id 是 Long 作业ID。 status_name 否 String 当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。 status_desc 否 String 当前状态描述。包含异常状态原因及建议。
  • 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 cidr_in_vpc 否 String 队列虚拟私有云网段。 不同CU规格队列支持的网段范围: 16cu: 10.0.0.0/8 ~ 10.255.255.0/24 172.16.0.0/12 ~ 172.31.255.0/24 192.168.0.0/16 ~ 192.168.255.0/24 64cu: 10.0.0.0/8 ~ 10.255.252.0/24 172.16.0.0/12 ~ 172.31.252.0/24 192.168.0.0/16 ~ 192.168.252.0/24 256cu: 10.0.0.0/8 ~ 10.255.252.0/22 172.16.0.0/12 ~ 172.31.252.0/22 192.168.0.0/16 ~ 192.168.252.0/22 512cu: 10.0.0.0/8 ~ 10.255.252.0/21 172.16.0.0/12 ~ 172.31.252.0/21 192.168.0.0/16 ~ 192.168.252.0/21
  • 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array of objects 用户自定义主机信息,最大支持2万条记录,详细信息参见表 hosts请求参数。内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。长度128,数字字母下划线("_")横杠("-")句点(".")组成,字母开头。 ip 否 String 主机对应的IPv4地址。
  • URI URI格式 PUT /v2.0/{project_id}/datasource/enhanced-connections/{connection_id} 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。
  • 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝对指定资源在特定条件下进行某项操作。 对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM 项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。 关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 仅在表1中的接口支持自定义授权,其他不在表格中的接口不支持自定义授权。 “√”表示支持,“x”表示暂不支持。 DLI支持自定义策略授权项如下表所示。 表1 API授权项列表 权限 对应API接口 授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建队列 POST /v1.0/{project_id}/queues dli:queue:createQueue √ √ 删除队列 DELETE /v1.0/{project_id}/queues/{queue_name} dli:queue:dropQueue √ √ 提交作业 POST /v1.0/{project_id}/jobs/submit-job dli:queue:submitJob √ × 取消作业 DELETE /v1.0/{project_id}/jobs/{job_id} dli:queue:cancelJob √ × 查看其他用户具备的队列权限 GET /v1.0/{project_id}/queues/{queue_name}/users dli:queue:showPrivileges √ × 重启队列 PUT /v1.0/{project_id}/queues/{queue_name}/action dli:queue:restart √ × 扩缩容队列 PUT /v1.0/{project_id}/queues/{queue_name}/action dli:queue:scaleQueue √ × 赋予指定用户弹性资源权限 PUT /v1.0/{project_id}/user-authorization dli:elasticresourcepool:grantPrivilege √ × 移除指定用户弹性资源池权限 PUT /v1.0/{project_id}/user-authorization dli:elasticresourcepool:revokePrivilege √ × 创建数据库 POST /v1.0/{project_id}/databases dli:database:createDatabase √ × 删除数据库 DELETE /v1.0/{project_id}/databases/{database_name} dli:database:dropDatabase √ × 修改数据库配置 POST /v1.0/{project_id}/jobs/submit-job dli:database:alterDatabaseProperties √ × 将SQL语句解释为执行计划 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:explain √ × 创建表 POST /v1.0/{project_id}/databases/{database_name}/tables dli:database:createTable √ × 创建视图 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:createView √ × 创建函数 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:createFunction √ × 描述函数 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:describeFunction √ × 删除函数 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:dropFunction √ × 显示函数 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:showFunctions √ × 创建角色 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:createRole √ × 删除角色 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:dropRole √ × 显示角色 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:showRoles √ × 显示所有角色 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:showAllRoles √ × 绑定角色 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:grantRole √ × 解除角色绑定 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:revokeRole √ × 显示所有角色和用户的绑定关系 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:database:showUsers √ × 查看其他用户具备的数据库权限 GET /v1.0/{project_id}/databases/{database_name}/users dli:database:showPrivileges √ × 显示数据库 GET /v1.0/{project_id}/databases dli:database:displayDatabase √ × 显示所有数据库 GET /v1.0/{project_id}/databases dli:database:displayAllDatabases √ × 显示所有表 GET /v1.0/{project_id}/databases dli:database:displayAllTables √ × 赋予指定用户数据库权限 PUT /v1.0/{project_id}/user-authorization dli:database:grantPrivilege √ × 移除指定用户数据库权限 PUT /v1.0/{project_id}/user-authorization dli:database:revokePrivilege √ × 删除表 DELETE /v1.0/{project_id}/databases/{database_name}/tables/{table_name} dli:table:dropTable √ × 显示表结构 GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name} dli:table:describeTable √ × 查询表 GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}/preview dli:table:select √ × 显示表配置 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:showTableProperties √ × 显示建表语句 GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}/preview dli:table:showCreateTable √ × 显示所有分区 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:showPartitions √ × 设置表配置 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableSetProperties √ × 添加列 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableAddColumns √ × 在分区表中添加分区 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableAddPartition √ × 重命名表分区 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableRenamePartition √ × 删除分区表的分区 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableDropPartition √ × 恢复表分区 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableRecoverPartition √ × 重命名表 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableRename √ × 设置分区路径 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableSetLocation √ × 插入表数据 POST /v1.0/{project_id}/jobs/submit-job,语句调用 dli:table:insertIntoTable √ × 重写表数据 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:insertOverwriteTable √ × 查看其他用户具备的表权限 GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}/users dli:table:showPrivileges √ × 清空表 POST /v1.0/{project_id}/jobs/submit-job dli:table:truncateTable √ × 更新表 POST /v1.0/{project_id}/jobs/submit-job dli:table:update √ × 删除表数据 POST /v1.0/{project_id}/jobs/submit-job dli:table:delete √ × 修改列信息 POST /v1.0/{project_id}/jobs/submit-job dli:table:alterTableChangeColumn √ × 删除列 POST /v1.0/{project_id}/jobs/submit-job dli:table:alterTableDropColumns √ × 显示数据段 POST /v1.0/{project_id}/jobs/submit-job dli:table:showSegments √ × 合并数据段 POST /v1.0/{project_id}/jobs/submit-job dli:table:compaction √ × 修改视图 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterView √ × 显示表结构 POST /v1.0/{project_id}/jobs/submit-job,执行对应SQL dli:table:describeTable √ × 赋予指定用户数据表权限 PUT /v1.0/{project_id}/user-authorization dli:table:grantPrivilege √ × 移除指定用户数据表权限 PUT /v1.0/{project_id}/user-authorization dli:table:revokePrivilege √ × 查看其它用户的安全认证信息权限列表 GET /v1.0/{project_id}/datasource/auth-infos/{auth_name}/users dli:datasourceauth:showPrivileges √ × 使用安全认证信息 POST /v1.0/{project_id}/jobs/submit-job dli:datasourceauth:useAuth √ × 删除安全认证信息 DELETE /v2.0/{project_id}/datasource/auth-infos/{auth_info_name} dli:datasourceauth:dropAuth √ × 更新安全认证信息 PUT /v2.0/{project_id}/datasource/auth-infos dli:datasourceauth:updateAuth √ × 赋予指定用户安全认证权限 PUT /v1.0/{project_id}/user-authorization dli:datasourceauth:grantPrivilege √ × 移除指定用户安全认证权限 PUT /v1.0/{project_id}/user-authorization dli:datasourceauth:revokePrivilege √ × 移除指定用户作业权限 PUT /v1.0/{{project_id}}/authorization dli:jobs:revokePrivilege √ × 查询列 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:column:select √ × 赋予指定用户列权限 PUT /v1.0/{project_id}/user-authorization dli:column:grantPrivilege √ × 移除指定用户列权限 PUT /v1.0/{project_id}/user-authorization dli:column:revokePrivilege √ × 查询flink作业列表 GET /v1.0/{project_id}/streaming/jobs dli:jobs:listAll √ × 查询flink作业详情 GET /v1.0/{project_id}/streaming/jobs/{job_id} dli:jobs:get √ × 创建flink SQL作业 POST /v1.0/{project_id}/streaming/sql-jobs dli:jobs:create √ × 创建flinkJar作业 POST /v1.0/{project_id}/streaming/flink-jobs dli:jobs:create √ × 更新flinkSQL作业 PUT /v1.0/{project_id}/streaming/sql-jobs/{job_id} dli:jobs:update √ × 更新flinkJar作业 PUT /v1.0/{project_id}/streaming/flink-jobs/{job_id} dli:jobs:update √ × 删除flink作业 DELETE /v1.0/{project_id}/streaming/jobs/{job_id} dli:jobs:delete √ × 批量运行flink作业 POST /v1.0/{project_id}/streaming/jobs/run dli:jobs:start √ × 停止flink作业 POST /v1.0/{project_id}/streaming/jobs/stopob_id/stop dli:jobs:stop √ ×
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 否 String 作业名称。长度限制:0-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 queue_name 否 String 队列名称。长度限制:0-128个字符。 sql_body 否 String Stream SQL语句,至少包含source, query, sink三个部分。长度限制:0-1024*1024个字符。 run_mode 否 String 作业运行模式: shared_cluster:共享。 exclusive_cluster:独享。 edge_node:边缘节点。 默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启:true 关闭:false 默认:false checkpoint_mode 否 Integer 快照模式,。两种可选: 1:表示exactly_once,数据只被消费一次。 2:at_least_once,数据至少被消费一次。 默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒,默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention 否 Integer 空闲状态过期周期,单位为秒,默认值为“3600”。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数,默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数,默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 operator_config 否 String 算子的并行度配置。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数,单位:次/小时。取值范围:-1或大于0。默认值为“-1”,表示无限次数。 static_estimator_config 否 String 每个算子的流量/命中率配置,json格式的字符串。例如: {"operator_list":[{"id":"0a448493b4782967b150582570326227","rate_factor":0.55},{"id":"6d2677a0ecc3fd8df0b72ec675edf8f4","rate_factor":1},{"id":"ea632d67b7d595e5b851708ae9ad79d6","rate_factor":0.55},{"id":"bc764cd8ddf7a0cff126f51c16239658","output_rate":2000}]} runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。
共99354条