检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
"job_type": "DDL", "job_mode": "async" } 如果通过异步方式删除数据库,可以通过查询作业状态接口查看当前作业的状态,详细介绍参见查询作业状态。 如果强制删除数据库cascade=true,则会级联删除该数据库下面的所有表,需要谨慎使用。 状态码 状态码如表4所示。
赋权:当前用户可将弹性资源池的操作权限赋予其他用户。 回收:当前用户可回收其他用户具备的该弹性资源池的权限,但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该弹性资源池的权限。 为已有权限的用户赋予权限或回收权限。 在对应弹性资源池“权限信息”区域的用户列表中,选
资源标签相关API 批量添加资源标签 批量删除资源标签 查询资源实例数量 查询资源实例列表 查询指定资源类型的标签信息 查询指定资源实例的标签信息
值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“弹性扩缩容中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
_sparkapp”。 图14 查看创建的数据库 双击数据库名,可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表 双击DLI表名dli_testtable,单击“执行”查询DLI表数据。 图16 查询DLI表数据 注释掉DLI表查询语句,双击OBS表名dli_te
{batch_id} 查询所有批处理作业 listAllBatchJobs - GET /v2.0/{project_id}/batches 查询批处理作业详情 - - GET /v2.0/{project_id}/batches/{batch_id} 查询批处理作业状态 getStateBatchJob
n] [ELSE else_result_expression] END; 关键字 boolean_expression:可以包含子查询,但整个boolean_expression表达式返回值只能是布尔类型。 注意事项 如果没有取值为TRUE的Boolean_express
n] [ELSE else_result_expression] END; 关键字 boolean_expression:可以包含子查询,但整个boolean_expression表达式返回值只能是布尔类型。 注意事项 如果没有取值为TRUE的Boolean_express
VALUES('Adam','68','25'); 查询表数据: select * from hiveobstable; 图19 查询结果 在OBS桶“obs://dli-test-021/data5”目录下刷新后查询,生成了两个数据文件,分别对应新插入的数据。 图20 查询结果 创建表字段为复杂数据格式的OBS表
聚合函数 聚合函数是从一组输入值计算一个结果。例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。 示例数据:表T1 |score| |81 | |100 | |60 | |95 | |86 | 常用聚合函数 表1 常用聚合函数表 函数 返回值类型
Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业
该SDK接口不支持sql_pattern,即通过指定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。 查询SQL类型作业 您可以使用该接口查询当前工程下的所有SQL类型作业的信息并获取查询结果。示例代码如下: def list_sql_jobs(dli_client):
备份数据:使用DLI提供导出API,将DLI的数据导出到OBS中备份。 具体API请参考《导出数据》。 存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。 具体API请参考《导出查询结果》。 与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
attrs_value_set_expr 格式 说明 语法 描述 attrs_value_set_expr 属性值集合。 sub_query 子查询语句。 ( 指定子查询表达式开始。 ) 指定子查询表达式结束。 父主题: 标示符
是 String 资源ID。 最小长度:1 最大长度:1000 获取方式: 队列ID:通过调用查询所有队列获队列ID。响应中的queue_id为队列ID。 弹性资源池ID:通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型跨源连接
202L); System.out.println(result); } 查询作业列表 DLI提供查询Flink作业列表的接口。您可以使用该接口查询作业列表。作业列表查询支持以下参数: name,status,show_detail,cursor,next,li
Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图