检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境,Hudi表的数据文件存储在OBS上,因此可以通过查看OBS文件检查。 如下,展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie // 元数据文件夹 │ ├──
条件表达式 CASE 标准的SQL CASE表达式有两种模式。 “简单模式”从左向右查找表达式的每个value,直到找出相等的expression: CASE expression WHEN value THEN result [ WHEN ... ] [ ELSE result
致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤
while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。
PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version,检查是否安装成功,如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment
account was restricted. Restricted for no budget. 该提示信息说明您可能因账户欠费获余额不足导致操作受限。 解决方案: 检查账户状态。 请先确认是否欠费,如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误,请退出账号后重新登录。
PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version,检查是否安装成功,如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment
PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version,检查是否安装成功,如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment
PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version,检查是否安装成功,如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment
DECIMAL(5) DECIMAL '0000012345.1234500000' DECIMAL(20, 10) 二进制算术 decimal 运算符 支持标准数学运算符。下表说明了结果的精度和范围计算规则。假设x的类型为DECIMAL(xp, xs),y的类型为DECIMAL(yp, ys)。 运算
可能原因。 检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了DLI Datasource Connections Agency Access权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息
SELECT 'he'||'llo'; --hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外,
] } 在管理控制台检查以下权限相关内容,查看策略名称是否与2一致。 效力:允许 授权资源:按需授权桶和对象。 授权操作:与2中Action一致 常用检查项: 检查是否配置了所有账号的某些拒绝操作,且这些操作是上述DLI所需要的授权操作。 检查是否对DLI的被授权用户配置
模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句,可以满足用户大部分的TPC-H需求场景测试,TPC-H样例说明请参考DLI预置的SQL模板中TPC-H样例数据说明。
driver,以提升队列资源的调度效率。 作业结果保存策略:设置是否开启队列的作业查询结果保存至DLI作业桶。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅标准版弹性资源池的Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 不支持批量设置队列属性。 弹性资源池中的
出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。 入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 客户安全组入方向和出
verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置”
Spark、Apache Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换
8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量,在“控制面板”选择“系统”属性,单击“环境变量”。
为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程: