检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当语句类型为DDL时,返回其结果的列名称及类型。 rows 否 Array of objects 当语句类型为DDL时,直接返回其执行结果。 示例 请求样例: { "currentdb": "db1", "sql": "desc table1", "conf":
WINDOW:WINDOW 子句可用于在 SELECT 子句之外定义 OVER 窗口。它让查询可读性更好,也允许多个聚合共用一个窗口定义。 示例 查询为每个订单计算前一个小时之内接收到的同一产品所有订单的总金额。 1 2 3 4 5 6 7 SELECT order_id, order_time
th来获取。结果的全量数据会自动导出到作业桶。 job_mode 否 String 作业执行模式: async:异步 sync:同步 请求示例 提交SQL作业,该作业执行的数据库为db1、队列为default,并为该作业设置标签workspace=space1;jobName=name1。
列可能缩容不成功,或缩容一部分规格的情况。 因资源规格不同可能有不同的缩容步长,通常是16CUs、32CUs、48CUs、64CUs等。 示例:队列大小为48CUs,执行作业占用了18CUs,剩余30CUs不满足该32CUs步长缩容的要求,如果执行缩容任务,则缩容失败。 弹性扩容
导致不能插入数据。例如上述示例中的OBS路径为:"obs://dli-test-021/data/test.csv"。 解决方案:使用DataSource语法创建OBS表指定的OBS文件路径改为文件目录即可,后续即可通过insert插入数据。上述示例,建表语句可以修改为: CREATE
NULL 文件的字节数。 file.modification-time TIMESTAMP_LTZ(3) NOT NULL 文件的修改时间。 示例 从obs表作为数据源读取数据,输出到print connector。 CREATE TABLE obs_source( name string
是否在Spark中缓存表的relation,无需用户配置。为支持SparkSQL中对COW表增量视图查询,默认将COW表中该值置为false。 示例 创建非分区表 create table if not exists hudi_table0 ( id int, name string,
start 通过DLI Livy工具提交Spark作业到DLI 本示例演示通过curl命令使用DLI Livy工具将Spark作业提交到DLI。 将开发好的Spark作业程序jar包上传到OBS路径下。 例如,本示例上传“spark-examples_2.11-XXXX.jar”到
日期、时间函数及运算符 日期时间运算符 运算符 示例 结果 + date '2012-08-08' + interval '2' day 2012-08-10 + time '01:00' + interval '3' hour 04:00:00.000 + timestamp '2012-08-08
表名中不能包含空格和特殊字符,如冒号、分号、斜杠等。 表名不区分大小写,但建议使用小写字母。 Hive保留关键字不能作为表名,如select、from、where等。 示例: my_table、customer_info、sales_data 由于作业在触发CheckPoint时才会往Hudi表中写数据,所以
注意事项 创建DWS关联表时,不需要指定关联表的Schema。DLI会自动获取DWS中对应参数"dbtable"中的表的Schema。 示例 1 2 3 4 5 6 CREATE TABLE IF NOT EXISTS dli_to_dws USING JDBC OPTIONS
partition_spec 一个可选参数,使用键值对来指定分区列表,键值对之间通过逗号分隔。需要注意,指定分区时,表名不支持模糊匹配。 示例 -- 演示数据准备 create schema show_schema; create table show_table1(a int
可以考虑以下几种方式进行复杂类型数据处理: 字段扁平化处理,将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取,并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7 create table test_redis(name string, age int) using
表用作维度表的最常见用例。 注意事项 使用Temporal join关联维表的最新分区,仅在Flink STREAMING模式下支持。 示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。
condition当前只支持主键列。 当前仅支持对COW表进行部分字段更新,且更新值必须包含预合并列,MOR表需要在Update语法中给出全部字段。 示例 部分字段更新 create table h0(id int, comb int, name string, price int) using
min,s,ms等,默认为ms。 connector.lookup.max-retries 否 维表配置,数据拉取最大重试次数,默认为3。 示例 RDS表用于与输入流连接。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
的正确性。 更多介绍和使用请参考开源社区文档:分组聚合。 DISTINCT 聚合 DISTINCT 聚合在聚合函数前去掉重复的数据。下面的示例计算 Orders 表中不同 order_ids 的数量,而不是总行数。 SELECT COUNT(DISTINCT order_id) FROM
适用场景:包含count(distinct)的多维分析(with cube)的查询场景,可能包含多个count(distinct),且包含cube/roll up 典型场景示例: SELECT a1, a2, count(distinct b), count(distinct c) FROM test_distinct
索用户指南》>《跨源认证》。 batch.size.entries和batch.size.bytes分别对数据条数和数据量大小进行限制。 示例 1 2 3 4 5 6 7 8 CREATE TABLE IF NOT EXISTS dli_to_css (doc_id String
format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 注意事项 无 示例 1 2 3 4 5 6 7 8 9 10 11 12 create table disCsvSource ( car_id