检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2、TLS1.3进行传输中加密，所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
如果开启安全模式，未开启https，需要配置用户名username、密码password，且语法中hosts字段值以http开头。 如果开启安全模式，开启https，需要配置用户名username、密码password、证书位置certificate。请注意该场景hosts字段值以https开头。
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
交工单申请加入白名单。 方式一：使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分，提供了Java库和框架。 在不指定JDBC获取方式的情况下，默认使用Maven中央库的方式来添加JDBC驱动。 使用maven构加入huaweiclou
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一： FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
omment、空约束，当前不支持修改列类型、列位置。 注意事项 目前不支持修改列类型。 目前不支持修改已存在列的顺序。 目前不支持指定顺序添加列。 命令语法 ALTER TABLE tableName ALTER [COLUMN] col_name [COMMENT] col_comment
被展开成多列，行数与最高基数参数相同（其他列用空填充）。UNNEST可以选择使用WITH ORDINALITY子句，在这种情况下，会在末尾添加一个额外的ORDINALITY列。UNNEST通常与JOIN一起使用，可以引用JOIN左侧关系中的列。 使用单独一列 SELECT student
右上角，选择“工单 > 新建工单”，提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列，具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配lakeformation使用。详细内容请参考DLI对接LakeFormation。 HetuEngine简介
3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需
retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语句时会自动进行清理。在添加列或者修改分区表时，也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功
alias, ... FROM table_reference; 关键字 alias：用于对attr_expr中的字段名称起别名。 AS：是否添加此关键字不会影响结果。 注意事项 所要查询的表必须是已经存在的，否则会出错。 别名的命名必须在别名的使用之前，否则会出错。此外，建议不要重名。
若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在，则进行添加。 图3 添加入方向规则 出方向规则：检查出方向规则网段及端口是否开放（建议所有网段开放）。 检查网段及端口是否配置。 图4 检查网段及端口是否配置。 如果不存在，则进行添加。 图5 添加出方向规则
partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS table_name”命令查看新增的分区。
DROP CONSTRAINT 命令功能 DROP CONSTRAINT 命令删除 CHECK 约束。 命令格式 ALTER TABLE [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` DROP CONSTRAINT
location 安全CSS集群的证书，生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书，生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书，生成的truststore文件在OBS上的地址。
若开启安全模式，开启https： 方法1：推荐使用CSS类型跨源认证名称，并配置es_auth_name为跨源认证的名称。请注意该场景hosts字段值以https开头。 方法2：不使用跨源认证，但需要配置用户名username、密码password、证书位置certificat
该命令仅支持操作OBS表，不支持对DLI表进行操作。 所要删除分区的表必须是已经存在的表，否则会出错。 所要删除的分区必须是已经存在的，否则会出错，可通过语句中添加“IF EXISTS”避免该错误。 语法格式 1 2 3 ALTER TABLE [db_name.]table_name DROP [IF
供函数相关示例。创建表logs，并添加数据，命令示例如下： create table logs( cookieid string, createtime string, url string ) STORED AS parquet; 添加数据如下： cookie1 2015-04-10
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
