检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI分析电商实时业务数据 应用场景 当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解
更新程序包时提示权限不足怎么办？ 问题现象 在程序包管理下，对已经存在的程序包进行更新操作时，提示如下报错信息： "error_code"*DLI.0003","error_msg":"Permission denied for resource ‘resources. xxx'
创建DLI程序包 DLI支持用户通过批处理方式将程序包提交至通用队列中运行。 如果用户需要更新程序包，可以使用相同的程序包或文件上传至DLI的同一个位置（同一个分组），直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制
制表符(\t) 其他：输入自定义分隔符 默认值：逗号(,) 自定义引用字符 当“文件格式”为“CSV”，勾选自定义引用字符前的方框时，该参数有效。 支持选择如下引用字符。 单引号(') 双引号(") 其他：输入自定义引用字符 默认值：单引号(') 自定义转义字符 当“文件格式”为“C
配置DLI程序包权限 针对不同用户，可以通过权限设置分配不同的程序包组或程序包，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置，且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需
程序包管理概述 在执行DLI作业前需要将UDF Jar包或Jar作业程序包上传到云平台进行统一的管理和维护。 有以下两种方式管理程序包： （推荐使用）上传至OBS管理程序包：提前将对应的jar包上传至OBS桶中，在作业配置时选择对应的OBS路径。 （DLI程序包功能即将停用）上传
DML语法定义 约束限制 Flink SQL 对于标识符（表、属性、函数名）有类似于 Java 的词法约定: 不管是否引用标识符，都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于，通过反引号，可以允许标识符带有非字母的字符（如："SELECT a AS
Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： 分组函数 在流处理表中的 SQL 查询中，分组窗口函数的 time_attr 参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个
的不同点：WHERE 在 GROUP BY 之前过滤单独的数据行。HAVING 过滤 GROUP BY 生成的数据行。 HAVING 条件中的每一列引用必须是明确的 grouping 列，除非它出现在聚合函数中。 即使没有 GROUP BY 子句，HAVING 的存在也会使查询变成一个分组查询。这与查询包含聚合函数但没有
支持以下编码格式： utf-8 gb2312 gbk quote_char 否 String 用户自定义引用字符。 默认值: 英文双引号（"） 仅在数据格式为csv格式时支持配置引用字符。 引用字符在导出作业结果时用于标识文本字段的开始和结束，即用于分割字段。 仅支持设置一个字符。 主要用
| '{' repeat '}' 注意事项 Flink SQL 对于标识符（表、属性、函数名）有类似于 Java 的词法约定: 不管是否引用标识符，都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于，通过反引号，可以允许标识符带有非字母的字符（如："SELECT
| '{' repeat '}' 注意事项 Flink SQL 对于标识符（表、属性、函数名）有类似于 Java 的词法约定: 不管是否引用标识符，都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于，通过反引号，可以允许标识符带有非字母的字符（如："SELECT
注意事项 定义了一个CTE后必须马上使用，否则这个CTE定义将失效。 可以通过一次WITH定义多个CTE，中间用逗号连接，后定义的CTE可以引用已经定义的CTE。 示例 将“SELECT courseId FROM course_info WHERE courseName = 'B
ce_string，为1时表示替换所有匹配的子串。为其他类型或小于1时，返回报错。默认值为1。 返回值说明 返回STRING类型的值。 当引用不存在的组时，不进行替换。 如果replace_string值为NULL且pattern有匹配，返回NULL。 如果replace_str
制表符(\t) 其他：输入自定义分隔符 逗号(,) 自定义引用字符 当“数据格式”为“CSV”，并在自定义引用字符前的方框打勾时，该参数有效。 选中高级选项，支持选择如下引用字符。 单引号(') 双引号(") 其他：输入自定义引用字符 单引号(') 自定义转义字符 当“数据格式”为“
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令，以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled vacuum清理不再引用的文件时是否进行保留期检查。 true spark.databricks.delta.properties.defaults.delete
BY和LIMIT子句将以视图的结果为基础进行运算。 描述 使用SELECT查询结果创建新视图。视图是一个逻辑表，可以被将来的查询所引用，视图中没有数据。该视图对应的查询在每次被其他查询引用该视图时都会被执行。 如果视图已经存在，则可选ORREPLACE子句将导致视图被替换，而不会报错。 示例 通过表orders创建一个视图test：
region ON nation.name=region.name; LATERAL FROM中的子查询可以加上LATERAL关键字，允许引用前面FROM项提供的列： SELECT name, x, y FROM nation CROSS JOIN LATERAL (SELECT
用WITH ORDINALITY子句，在这种情况下，会在末尾添加一个额外的ORDINALITY列。UNNEST通常与JOIN一起使用，可以引用JOIN左侧关系中的列。 使用单独一列 SELECT student, score FROM tests CROSS JOIN UNNEST(scores)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
