检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”,完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台,创建SQL队列和数据库。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数,单击“执行”提交创建。 如果该客户
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); Grouping sets, Rollup
显示所有角色和用户的绑定关系 功能描述 在当前database显示角色与某用户的绑定关系。 语法格式 1 SHOW PRINCIPALS ROLE; 关键字 无。 注意事项 变量ROLE必须存在。 示例 1 SHOW PRINCIPALS role1; 父主题: 数据权限管理
PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。
"queue1", "queue_type": "sql", "description": "test", "cu_count": 16, "enterprise_project_id": "elastic_pool_dli" } 响应示例 { "is_success":
显示角色 功能描述 显示所有的角色或者显示当前database下绑定到“user_name”的角色。 语法格式 1 SHOW [ALL] ROLES [user_name]; 关键字 ALL:显示所有的角色。 注意事项 ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); GROUP BY中使用HAVING过滤
table_columns 是 待插入的列,具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",其中必须指定rowKey,当某列不需要加入数据库时,以第三列为例,可表示为"rowKey,f1:c1,,f2:c1"。 illegal_data_table 否 如果指定该参数,异常数据
redis集群的部署模式,支持standalone、master-replica、cluster。默认为standalone。 retry-count 否 5 Integer 连接redis集群的尝试次数。 connection-timeout-millis 否 10000 Integer
redis集群的部署模式,支持standalone、master-replica、cluster,默认standalone。 retry-count 是 5 Integer 设置每个连接请求的队列大小。如果超过队列大小,则命令调用将导致RedisException。将requestQ
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录
<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN
(val1 [, val2, ...]) 关键字 表1 INSERT关键字说明 参数 描述 db_name 需要执行INSERT命令的表所在数据库的名称。 table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段,需要包
DLI存储资源使用约束限制 DLI提供了存储资源的能力,用于存储数据库和DLI表,DLI存储按存储数据量计费。 资源相关约束限制 数据库 “default”为内置数据库,不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。
<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN
储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据: 单击所要查看的数据库名,进入对应的“表管理”页面; 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据,则按照存储计费的标准计费。
'fenodes' = 'FE_IP:PORT,FE_IP:PORT,FE_IP:PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword'
内置函数 日期函数 字符串函数 数学函数 聚合函数 分析窗口函数 其他函数 父主题: Spark SQL语法参考(即将下线)
job_list 否 Object 作业列表信息。请参见表4。 表4 job_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 作业查询结果条数。 jobs 否 Array of Objects 作业信息。请参见表5。 表5 Jobs参数说明