检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节操作介绍配置DLI读写外部数据源数据操作流程。 配置DLI与数据源网络连通:您可以参考配置DLI与数据源网络连通(增强型跨源连接)配置DLI与数据源的网络连通。
用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。
管理Jar作业程序包 程序包管理概述 创建DLI程序包 配置DLI程序包权限 修改DLI程序包所有者 DLI程序包标签管理 DLI内置依赖包 父主题: DLI常用管理操作
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。
name=xxx&age=25#teacher 父主题: SQL函数和操作符
select render(true),render(false); 父主题: SQL函数和操作符
父主题: SQL函数和操作符
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 !
(可选)在标签列表中,单击“操作”列中“删除”可对选中的标签进行删除。 父主题: 管理Jar作业程序包
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1.2
操作 权限管理:对程序包用户进行权限管理。 删除:删除程序包。 更多: 修改所有者:修改程序包用户。 标签:添加或编辑程序包标签。 父主题: 管理Jar作业程序包
父主题: SQL函数和操作符
修改程序包组或程序包权限 在“程序包管理”页面,选择要程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。
示例 SELECT users, tag FROM Orders CROSS JOIN UNNEST(tags) AS t (tag); Join表函数(UDTF) 功能描述 将表与表函数的结果进行 join 操作。
示例 SELECT users, tag FROM Orders CROSS JOIN UNNEST(tags) AS t (tag); Join表函数(UDTF) 功能描述 将表与表函数的结果进行 join 操作。
SELECT *, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY proctime ASC) as row_num FROM Orders) WHERE row_num = 1; 父主题: 数据操作语句
SELECT SUM(amount) FROM Orders GROUP BY users HAVING SUM(amount) > 50 父主题: 数据操作语句DML
try函数一般结合COALESCE使用,COALESCE可以将异常的空值转为0或者空,以下情况会被try捕获: 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用,应该明确以上异常,做数据预处理 示例: 假设有以下表,字段origin_zip中包含了一些无效数据
终止作业 在“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止启动中和运行中的作业。 父主题: 使用DLI提交Spark作业
SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3) SELECT typeof(cos(2)+1.5);-- double 父主题: SQL函数和操作符