检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选子句LIKE可以使用规则运算来过滤结果,它支持的通配符为“*”(匹配任意字符)和“|”(匹配可选项)。
该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
regexp_extract REGEXP_EXTRACT函数用于将字符串source按照pattern的分组规则进行字符串匹配,返回第groupid个组匹配到的字符串内容。
计费规则 表1 DL数据存储计费规则 类型 说明 存储资源 存储费用=单价*存储数据量(GB)*小时数 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。
通过可选子句“LIKE”,筛选视图名满足规则运算表达式的视图,如果不使用这个子句,会列举所有视图。匹配的视图会按字母顺序排列。 目前规则运算表达式只支持“*”(匹配任意字符)。
LIKE 'identifier_with_wildcards' identifier_with_wildcards只支持包含“*”和“|”的规则匹配表达式。 其中“*”可以匹配单个或多个字符,“|”适用于匹配多种规则匹配表达式中的任意一种的情况,它用于分隔这些规则匹配表达式。
套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 仅适用于default 队列。 扫描数据量套餐的额度按订购周期会重置。
具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。
返回规则如下: col值为NULL时,该行不参与计算。 col为BOOLEAN类型时,不允许参与运算。 示例代码 计算所有商品的最高库存(items)。
返回规则如下: col值为NULL时,该行不参与计算。 col为BOOLEAN类型时,不允许参与运算。 示例代码 计算所有商品的最低库存(items)。
返回规则如下: number为DOUBLE、DECIMAL类型时会返回相应的类型。 number为STRING、BIGINT类型时,返回DOUBLE类型。 decimal_places非BIGINT类型时,返回报错。 number值为NULL时,返回NULL。
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置: 队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 作业结果保存策略:设置是否开启队列的作业查询结果保存至DLI作业桶。
Data masking函数 数据脱敏(Data masking) 指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 mask_first_n(string str[, int n]) →varchar 描述:返回str的屏蔽版本,前n个值被屏蔽。
按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考相关资源的计费说明。 DLI按需计费模式的队列、弹性资源池、数据存储、数据扫描量均按小时结算。
选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图3 开通自动续费 父主题: 续费
下表说明了结果的精度和范围计算规则。假设x的类型为DECIMAL(xp, xs),y的类型为DECIMAL(yp, ys)。
在左侧导航栏中选择“告警管理 > 告警行动规则”。 在右侧区域的“告警行动规则”页签下,单击“创建告警行动规则”。 设置行动规则名称、类型、行动方式等信息。 详细参数说明请参考AOM-创建告警行动规则。
设置该配置项后,bad records不会导入到目标表。 timestamp_format 否 String 指定特定的时间格式,默认为“yyyy-MM-dd HH:mm:ss”。时间格式字符定义详见表3。导入CSV及JSON类型数据时可指定。
例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。 您可以参考添加网络ACL规则或修改网络ACL规则放通对应协议端口。 父主题: 增强型跨源连接类
DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 使用须知 运行在基础版弹性资源池队列上的作业不支持设置作业优先级。 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。