检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足,报错信息如下: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:
在default队列执行DLI SQL失败,提示超时异常怎么办? 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please
days 多版本中备份数据保留的日期。默认为7天,建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,设置备份数据保留时间为5天。 1 2 ALTER TABLE
跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表,执行insert overwrite语句向RDS写入数据报错:DLI.0999: B
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
增量查询之前必须指定当前表的查询为增量查询模式,并且查询后重写设置表的查询模式 如果增量查询完,不重新将表查询模式设置回去,将影响后续的实时查询 示例 以SQL作业为例: 配置参数 hoodie.tableName.consume.mode=INCREMENTAL // 必须设置当前表读取为增量读取模式 hoodie
执行SQL语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
tamp。 no-ttl:不设置过期时间。 expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。
原因分析 客户作业存在并发操作,同时对一张表执行两个insert overwrite操作。 一个cn在执行: TRUNCATE TABLE BI_MONITOR.SAA_OUTBOUND_ORDER_CUST_SUM 另外一个cn在执行: call bi_monitor.pkg_
opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
SQL作业运行报错:DLI.0002 FileNotFoundException 问题现象 SQL作业执行报错,报错信息大致如下: Please contact DLI service. DLI.0002: FileNotFoundException: getFileStatus
CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多 > CU设置”。 在“CU设置”界面,“CU范围”参数中,左边为最小CU,右边为最大CU,根据情况分别设置。单击“确定”完成设置操作。 CU设置时怎样调大CU范围最小值?
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组,并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name
DBeaver 是一个免费且开源的数据库管理工具,支持多种数据库,通过DBeaver这款可视化数据库管理工具可以查看数据库结构、执行SQL查询和脚本、浏览和导出数据等。本节操作介绍DBeaver连接DLI服务的操作步骤。 操作前准备 工具包 DLI的JDBC驱动: 单击dli-jdbc-x
步骤2:业务数据的计算与处理 开发导入业务数据的SQL脚本 本节操作介绍提交SQL脚本导入业务数据的操作步骤。 在DataArts Studio数据开发页面,选择左侧导航栏的“数据开发 > 脚本开发”。 单击“新建DLI SQL脚本”。 图10 新建DLI SQL脚本 在脚本编辑页面输入分析数据的示例代码。
从Flink 1.11.0 开始,在使用Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink Hive 方言
tamp。 no-ttl:不设置过期时间。 expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true