检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DML语法定义 约束限制 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于,通过反引号,可以允许标识符带有非字母的字符(如:"SELECT a AS
CHAR'='#') HEADER:用来表示源文件是否有表头。取值范围为“true”和“false”。“true”表示有表头,“false”表示无表头。默认值为“false”。如果没有表头,可以在导入命令中指定FILEHEADER参数提供表头。 配置项为OPTIONS('HEADER'='true')
修改”,修改SQL防御规则。 DLI支持的SQL防御系统规则 本节操作介绍DLI支持的系统防御规则,详细信息参考表2。 系统默认创建的规则是指在队列创建时,DLI自动为您创建的SQL防御规则,该规则与队列绑定,且不支持删除。 以下规则为系统默认创建的规则:Scan files number、Scan
ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Java SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java
查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,配置了“高级配置”中的参数,此处才会显示对应的内容。创建Spark作业请参考《创建Spark作业》。
FUNCTION语句 功能描述 创建一个有 catalog 和数据库命名空间的 catalog function ,需要指定一个 identifier ,可指定 language tag 。 若catalog 中,已经有同名的函数注册了,则无法注册。如果 language tag 是 JAVA
原生数据类型 DLI支持原生数据类型,请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648~2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
目录,该目录在bucketName指定的桶下。如果该目录不存在,程序会自动创建。 localFilePath 是 - 存放Spark程序中使用的jar包、Python程序文件、配置文件等的本地目录。 程序会自动将Spark程序依赖到的相关文件上传的OBS路径,并加载到DLI服务端资源包。
原生数据类型 DLI支持原生数据类型,请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648~2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
Spark 命令注入漏洞(CVE-2022-33891)。 该漏洞主要影响在启用了ACL(访问控制列表)时,可以通过提供任意用户名来执行命令导致数据安全收到威胁。 DLI在设计时充分考虑了数据安全和数据隔离,因此没有启用相关的配置项,所以不会受到这个漏洞的影响。 父主题: DLI产品咨询类
不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File
USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为: queue的格式为:queues.queue_name database的格式为:databases.db_name table的格式为:databases
DLI的上一代计算资源管理方式,因缺乏灵活性,目前已不推荐使用。 非弹性资源池模式提供固定规格的计算资源,购买后独占资源,无法根据需求动态调整,可能会导致资源浪费或在需求高峰期资源不足。 表1 DLI计算资源模式与支持的队列类型 DLI计算资源模式 支持的队列类型 资源特点 适用场景 弹性资源池模式 SQL队列(Spark)
>=,<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符
置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 使用须知 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源 SQL队列上运行的作业优先级默认为3。
将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等,按表头意义在DLI上创建表,具体可以参考如下示例,其中amount列为费用。
>=,<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符
>=,<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符
>=,<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符
“有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容,在“有效期”结束之后,系统不会自动缩容,需要手动修改或设置缩容定时任务。反之亦然。即为单次执行定时扩缩容。 如果同时设置了扩容和缩容,在有效期内会按照设定扩缩容,在“有效期”结束之后,将保持最后一次设定的队列规格。