检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IS_ALPHA(string) 若string中的所有字符都是字母，则返回TRUE，否则返回FALSE IS_DECIMAL(string) 若字符串可以转换为数值，则返回TRUE IS_DIGIT(string) 若字符串中的所有字符都是数字，则返回TRUE。否则返回FALSE 父主题： 内置函数
”，可能是由于缺少C++编译器导致的报错，建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包，解压安装包。 将"dli-sdk-python-<version>
SHOW_LOG_FILE 命令功能 查看log文件的meta和record信息。 命令格式 查看meta： call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]'
接，这可以提高通信的安全性。 true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。 true Flink作业传输通信加密 在Flink作业可以通过配置表2中的参数来开启SSL传输。
e语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。
Flink作业和Spark作业的计费只有计算计费，具体计费规则与SQL作业相同。 具体计费规则可以参考华为云官网价格详情。 。 步骤1：获取消费数据 获取消费明细数据。 使用华为云账户登录控制台。 通过“费用中心”>“费用账单”进入费用中心。 图1 费用账单 在“费用账单”界
通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，以此改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。 用户
Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。 如果对 Delta 表运
HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键，HBase连接器
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例（Demo） DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？
如果您需要对您所拥有的DLI服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 默认情况
计费相关问题 DLI的计费模式有哪些？ 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？
行数据会被添加到当前的窗口），且如果在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。 窗口辅助函数 可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性。 辅助函数必须使用与GROUP BY 子句中的分组窗口函数完全相同的参数来调用。
NULL，则返回 NULL。 如果 integer2 为 0，则结果没有小数点或小数部分。integer2 可以为负数，使值的小数点左边的 integer2 位变为零。 此函数也可以传入只有一个 numeric1 参数且不设置 Integer2 以使用。 如果未设置 Integer2 则
怎样查看套餐包资源的使用情况？ 购买套餐包后，随着套餐包的使用您可以随时查看套餐包使用情况，了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID，查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题： 计费相关问题
IS_ALPHA(string) 如果字符串中的所有字符都是字母，则返回 true，否则返回 false。 IS_DECIMAL(string) 如果 string 可以解析为有效数字，则返回 true，否则返回 false。 IS_DIGIT(string) 如果字符串中的所有字符都是数字，则返回 true，否则返回
阻塞Clean，如果没有Compaction操作来产生新版本的Parquet文件，那旧版本的文件就不能被Clean清理，增加存储压力。 提交Spark jar作业时，CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
