-
创建SQL防御规则 - 数据湖探索 DLI
SQL队列请在SparkUI界面查看Spark引擎版本。 同一个队列,同一个动作的防御规则仅支持创建一条。 每条规则可以关联50个SQL队列。 单个Project最多可以创建1000条规则。 创建SQL防御规则 登录DLI管理控制台。 选择“全局配置 > SQL防御”,打开SQL防御页面。
-
JDBC源表 - 数据湖探索 DLI
partition.lower-bound 否 无 Integer 第一个分区的最小值。分区扫描参数,具体请参考分区扫描功能介绍。 scan.partition.upper-bound 否 无 Integer 最后一个分区的最大值。分区扫描参数,具体请参考分区扫描功能介绍。 scan
-
ltrim - 数据湖探索 DLI
如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的左端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: rtrim,rtrim函数用于从str的右端去除字符。 trim,trim函数用于从str的左右两端去除字符。 命令格式 ltrim([<trimChars>
-
rtrim - 数据湖探索 DLI
如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的右端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: ltrim,ltrim函数用于从str的左端去除字符。 trim,trim函数用于从str的左右两端去除字符。 命令格式 rtrim([<trimChars>
-
ltrim - 数据湖探索 DLI
如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的左端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: rtrim,rtrim函数用于从str的右端去除字符。 trim,trim函数用于从str的左右两端去除字符。 命令格式 ltrim([<trimChars>
-
rtrim - 数据湖探索 DLI
如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的右端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: ltrim,ltrim函数用于从str的左端去除字符。 trim,trim函数用于从str的左右两端去除字符。 命令格式 rtrim([<trimChars>
-
工程配置 - 数据湖探索 DLI
本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化
-
配置多版本过期数据回收站 - 数据湖探索 DLI
数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录 当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”,OBS表目录下已创建T
-
责任共担 - 数据湖探索 DLI
业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务
-
费用账单 - 数据湖探索 DLI
查看指定队列或弹性资源池的账单 DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单,包含以下三步操作: 在DLI云服务控制台获取资源名称。 根据DLI资源名称,在“我的资源”页面根据资源名称查看资源ID。(资源名称不唯一,因此建议使用名称查询指定的资源ID后再查看账单。)
-
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 - 数据湖探索 DLI
合理释放连接。 在GaussDB(DWS) 控制台设置会话闲置超时时长session_timeout,在闲置会话超过所设定的时间后服务端将主动关闭连接。 session_timeout默认值为600秒,设置为0表示关闭超时限制,一般不建议设置为0。 session_timeout设置方法如下:
-
配置多版本过期数据回收站 - 数据湖探索 DLI
数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录 当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”,OBS表目录下已创建T
-
创建弹性资源池 - 数据湖探索 DLI
组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键:在输入框中输入标签键名称。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_
-
弹性资源池添加队列 - 数据湖探索 DLI
组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键:在输入框中输入标签键名称。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_
-
更新委托权限 - 数据湖探索 DLI
目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示例1和示例2给出了同一个区域的不同项目更新DLI委托带来的委托权限差异。 更新DLI委托权限 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。
-
在Spark SQL作业中使用UDAF - 数据湖探索 DLI
上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件,由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。
-
Print - 数据湖探索 DLI
数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。 standard-error 否 false Boolean 该值只能为true或false,默认为false。
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
ter_id必须指定其中一个。 说明: 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时,如果一条记录的car_bran
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
ter_id必须指定其中一个。 说明: 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时,如果一条记录的car_bran
-
怎样升级DLI作业的引擎版本 - 数据湖探索 DLI
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。