检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按表达式GROUP BY 功能描述 按表达式对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY groupby_expression [, groupby_expression, ...];
跨源连接DCS表 创建DLI表关联DCS 插入数据至DCS表 查询DCS表 父主题: 跨源连接相关
over([partition_clause] orderby_clause) 参数说明 表1 参数说明 参数 是否必选 说明 expr 是 待计算返回结果的表达式。 offset 否 偏移量,BIGINT类型常量,取值大于等于0。值为0时表示当前行,为1时表示前一行,以此类推。默认值为1。输入值为STRING类型
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联D
怎样将OBS表映射为DLI的分区表? 场景概述 用户使用Flink SQL作业时,需要创建OBS分区表,用于后续进行批处理。 操作步骤 该示例将car_info数据,以day字段为分区字段,parquet为编码格式,转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
PARQUET 说明 目前包含以上6种格式。 指定数据格式的方式有两种,一种是USING,可指定以上6种数据格式,另一种是STORED AS,只能指定ORC和PARQUET。 ORC对RCFile做了优化,可以提供一种高效的方法来存储Hive数据。 PARQUET是面向分析型业务的列式存储格式。
用户导表到OBS报“path obs://xxx already exists”错误 该提示信息说明您将数据导出到一个已经存在的OBS路径。 解决方案: 新建OBS目录。 您可以新建一个不存在的OBS目录用于存储导出的数据。 删除已存在的OBS目录。 删除已存在的OBS目录后,目
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE
enable 是否开启库表数据缓存,开启后自动缓存库表信息。默认为true。 true:开启 false:不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题: DLI Hudi开发规范
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题: DLI Hudi开发规范
Error: java.net.UnknownHostException: xxx: Name or service not known 问题根因 第一次执行DLI SQL脚本,用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? Flink JobManager提示 "Timeout expired while fetching topic metadata" ,说
enable 是否开启库表数据缓存,开启后自动缓存库表信息。默认为true。 true:开启 false:不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。
可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。 表1 作业管理参数 参数 参数说明 作业ID 所提交Spark作业的ID,由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。
enable 是否开启库表数据缓存,开启后自动缓存库表信息。默认为true。 true:开启 false:不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。
注意事项 所要查询的表必须是已经存在的表,否则会出错。 FROM嵌套子查询中,子查询必须要取别名,且别名的命名要早于别名的使用,否则会出错。建议别名不要重名。 FROM后所跟的子查询结果必须带上前面所取的别名,否则会出错。 示例 返回选了course_info表中课程的学生姓名,并利用DISTINCT关键字进行去重。
中存储的以固定分隔符格式分隔的数组转为多行。 使用限制 所有作为key的列必须位于在前面,而要转置的列必须放在后面。 在一个select中只能有一个UDTF,不可以再出现其他的列。 不可以与group by、cluster by、distribute by、sort by一起使用。
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 def create_dli_tbl(dli_client