检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致，可能会因为varchar类型不兼容，导致视图查询失败。 例如：使用Spark 3.x版本创建的表，建议您使用Spark 2.x创建相应的视图。 示例 先通过对student表中的id和name数据进行查询，并以该查询结果创建视图student_view。
createDataFrame() 方法创建的数据和read.format() 方法及read.jdbc() 方法查询的数据都为DataFrame对象，可以直接进行查询单条记录等操作（在“步骤4”中，提到将DataFrame数据注册为临时表）。 where where 方法中可传入包含and
ECT，EXCEPT）加括号，否则会出错。 示例 返回“SELECT * FROM student _1”查询结果与“SELECT * FROM student _2”查询结果的并集，不包含重复记录。 1 SELECT * FROM student_1 UNION SELECT *
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表，并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业（推荐） 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式：POST /v3/{project_
事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是 Delta 表。 注意事项 分区表转换需要设置参数spark.sql.force
] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES，表的所有属性也会被复制到新表，该选项最多只能对一个表生效。 对于从表中复制过来的属性，可以使用WITH子句指定属性名进行修改。
hive。您需要先切换到Hive 方言，然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。 您可以为执行的每个语句动态切换方言。无需重新启动会话即可使用其他方言。 语法格式 SQL 方言可以通过 table.sql-dialect 属性指定 1 set table.sql-dialect=hive;
表的最新快照的大小（以字节为单位） properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本 minWriterVersion 可以写入该表的最低Writer版本 父主题： Delta DDL语法说明
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文档数据库
“default”为内置数据库，不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础，执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台，单击左侧导航栏中的“
据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式一（废弃） 导出查询结果 查询所有作业 取消作业（废弃） 该API当响应消息中“job_type”为“DCL”时，为同步操作。
初始化完成后，会调用process方法，真正处理在process函数中，在process中，每一次forward()调用产生一行。 如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。 public void process(Object[] args)
hadoop的Combiner。 merge接收terminatePartial的返回结果。 terminate返回最终的聚集函数结果。 详细UDAF函数实现，可以参考如下样例代码： package com.dli.demo; import org.apache.hadoop.hive.ql.exec
上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业：配置Spark作业访问OBS中存储的数据。 提交Spark作业：完成作业编写后，提交并执行作业。 父主题：
段开放）。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0，端口8000，表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0，端口8000，仍然无法连接，继续排查子网配置。客户的DWS子网关联了网络A
NOT EXISTS table_name (id STRING) USING parquet; 2. 执行show create table查看TBLPROPERTIES下的"verison"字段的值 "v1"为V1表；"v2"则为V2表。 如需修改V1表为V2表请提交工单联系客户支持获取操作帮助。
EXCEPT 功能描述 返回两个查询结果的差集。 语法格式 1 select_statement EXCEPT select_statement; 关键字 EXCEPT：做集合减法。A EXCEPT B将A中所有和B重合的记录扣除，然后返回去重后的A中剩下的记录，EXCEPT默
简介 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where）、运算操作（+、-、*、/）以及函数调用（连接操作
参数类型 说明 str 是 STRING 待拆分的字符串。 separator 是 STRING STRING类型常量。拆分用的分隔符，可以是一个字符，也可以是一个字符串。 start 是 STRING BIGINT类型常量，必须大于0。表示返回段的开始编号（从1开始）。 end 否 BIGINT
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
