检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Python SDK概述 操作场景 DLI SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
HH:mm:ss mode 否 指定解析CSV时的模式,有三种模式。默认值:PERMISSIVE PERMISSIVE:宽容模式,遇到错误的字段时,设置该字段为Null DROPMALFORMED: 遇到错误的字段时,丢弃整行。 FAILFAST:报错模式,遇到错误的字段时直接报错。 header
相比原来更优惠。 弹性资源池规格不满足当前业务需求时,可以通过“变更规格”功能修改当前弹性资源池的规格。 注意事项 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 弹性资源池扩容 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性资源池,单击“操作”列“更多”中的“规格变更”。
SELECT基本语句 功能描述 基本的查询语句,返回查询结果。 语法格式 1 2 3 4 5 6 7 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference [WHERE where_condition] [GROUP
的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 若使用insert语句将结果写入sink中,则sink需要支持upsert模式。 语法格式 TUMBLE(time_attr, window_interval, period_interval, lateness_interval)
配置多版本过期数据回收站 功能描述 在DLI数据多版本功能开启后,过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
条件中的每一列引用必须是明确的 grouping 列,除非它出现在聚合函数中。 即使没有 GROUP BY 子句,HAVING 的存在也会使查询变成一个分组查询。这与查询包含聚合函数但没有 GROUP BY 子句时的情况相同。查询认为所有被选中的行形成一个单一的组,并且 SELECT 列表和
HH:mm:ss mode 否 指定解析CSV时的模式,有三种模式。默认值:PERMISSIVE PERMISSIVE:宽容模式,遇到错误的字段时,设置该字段为Null DROPMALFORMED: 遇到错误的字段时,丢弃整行。 FAILFAST:报错模式,遇到错误的字段时直接报错。 header
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
'keytab'='./user.keytab','principal'='krbtest') "); 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf'
DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。
Boolean true 代表hbase集群开启了kerberos认证。如果开启了kerberos认证,则必须设置。 properties.connector.kerberos.principal 否 无 String 安全集群的登录用户名。如果开启了kerberos认证,则必须设置。 properties
配置多版本过期数据回收站 功能描述 在DLI数据多版本功能开启后,过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version
用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/authorization/privileges 参数说明: 表1 URI 参数 参数名称
用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。 service 否 String 创建连接时,用户指定的对端服务(CloudTable/CloudTable
基本语句 功能描述 基本的查询语句,返回查询结果。 语法格式 1 2 3 4 5 6 7 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference [WHERE where_condition] [GROUP BY
net.http.auth.pass'='*******')"); 创建CSS跨源表的参数详情可参考表1。 上述示例中,因为CSS安全集群关闭了https访问,所以“es.net.ssl”参数要设置为“false”。“es.net.http.auth.user”以及“es.net.http