检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark-avro_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar generex-1.0.2.jar json-path-2.4.0.jar spark-catalyst_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar glassfish-corba-omgapi-4
jects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。 { "projects":
warehouseId)的商品数。命令示例如下: select warehouseId, count(*) from warehouse group by warehouseId; 返回结果如下: warehouseId _c1 city1 6
算各仓库商品的总数(items)总和。命令示例如下: select warehouseId, sum(items) from warehouse group by warehouseId; 返回结果如下: warehouseId| _c1 city1 15500
queue_name 是 String 绑定的队列名称。 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 queue_scaling_policies 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00
quantile)→double 描述:给定0到1之间的数字分位数,返回T-digest中的近似百分位值。 values_at_quantiles(tdigest,quantiles)->array(double) 描述:给定一组0到1之间的数字分位数,从T-digest中返回对应的分位数组成的数组。 tdigest_agg(x)->tdigest
/v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id
db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 注意事项 如果所要查看的数据库不存在,则系统报错。 示例 已参考示例中描述创建对应的数据库,如testdb。 查看testdb数据库的相关信息。 1 DESCRIBE DATABASE
列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the new comment”。 1 ALTER TABLE t1 CHANGE COLUMN
已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包,示例代码如下: 1 2 3 4 5 6 7 8 9 private static void uploadResources(DLIClient
作业ID可以通过创建作业接口或者查询作业接口获取。 resume_savepoint 否 Boolean 是否将作业从最近创建的保存点恢复。 当“resume_savepoint”为“true”时,表示作业从最近创建的保存点恢复。 当“resume_savepoint”为“false”时,表示不恢复正常启动。 默认为“false”。
dateadd dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 如需要获取当前日期基础上指定变动幅度的日期,可结合current_date或getdate函数共同使用。 命令格式 dateadd(string date, bigint delta
Hudi表的名称 tablelocation Hudi表的存储路径 示例 run clean on h1; run clean on "obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需
ount个分隔符之前的字符串。如果count为正,则从左边开始截取。如果count为负,则从右边开始截取。 命令格式 substring_index(string <str>, string <separator>, int <count>) 参数说明 表1 参数说明 参数 是否必选
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 inp
参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项
普通队列弹性扩缩容 前提条件 新创建的按需计费队列需要运行作业后才可进行弹性扩缩容。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。
句返回的记录行数。聚合函数如表1所示。 表1 聚合函数表 函数 返回值类型 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) BIGINT 返回表达式不为NULL的输入行数。对每个值的一个唯一实例使用DISTINCT。
句返回的记录行数。聚合函数如表1所示。 表1 聚合函数表 函数 返回值类型 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) BIGINT 返回表达式不为NULL的输入行数。对每个值的一个唯一实例使用DISTINCT。
–-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给Executor去执行。 Executor获取文件路径的时候,仍然需要使用SparkFiles