检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自数据湖探索的技术牛人，为您解决技术难题。
nothing to refresh. 问题根因 API以同步模式调用运行时会有两分钟的超时时间限制，如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli.sql.sqlasync.enabled”参数为“true”来异步运行该作业。 具体可以参考提交SQL作业API。
无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE table_name; 执行完上述
avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2.4.x及以上的版本支持avro类型的OBS表。 解决方案 在使用DataSource语法创建avro类型的OBS表时，请选择Spark2.4.x及以上版本进行创建。 父主题： Spark作业运维类
足。 根因分析 DLI队列的引擎版本不同，校验的权限范围不同： HetuEngine不支持通过IAM用户授权，需使用DLI资源授权。 解决方案 请参考《数据湖探索用户指南》中的数据库权限管理章节授予用户创建表的权限。 父主题： DLI权限管理类
YYY执行查询时，其查询条件中未使用其表分区列。 查询分区表时，查询条件中每个分区表必须包含至少一个分区列才允许执行，否则不允许执行。 解决方案 建议用户参考如下例子查询分区表： 其中partitionedTable为分区表，partitionedColumn为分区列，查询语句为：
使用BI工具连接DLI分析数据 BI工具连接DLI方案概述 配置DBeaver连接DLI进行数据查询和分析 配置DBT连接DLI进行数据调度和分析 配置YongHong BI连接DLI进行数据查询和分析 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 配置Fine
在执行表JOIN操作时，参与JOIN的键在某个表中分布极不均匀，导致大量数据集中在少数几个任务中处理，而其他任务则已完成，造成数据倾斜。 Group By数据倾斜解决方案 取部分数据执行select count(*) as sum,Key from tbl group by Key order by sum
通用队列操作OBS表如何设置AK/SK （推荐）方案1：使用临时AK/SK 建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1
数据迁移与传输方式概述 导入数据至OBS DLI支持在不迁移数据的情况下，直接访问OBS中存储的数据进行查询分析。 您只需将本地数据导入OBS即可开始使用DLI进行数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI，确保数据
t，指定了Checkpoint保存的OBS桶。手工停止Flink作业后，再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink Checkpoint和Savepoint生成机制及格式一致，因此可以通过Flink作业列表“操作”列中的“更多 > 导入
Flink Jar 包冲突，导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI
resource ‘resources. xxx', User = 'xxx', Action = "UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理 > 程序包管理”。 在“程序包管理”
disconnected before a response was received. 问题原因 由于CPU使用率过高，导致网络闪断。 解决方案 在SQL语句中配置发送失败重试：connector.properties.retries=5 create table kafka_sink(
tables/databases. Valid names only contain alphabet characters, numbers and _. 解决方案 需要将SQL中表名的“#”字符改成“$”即可。DLI中使用EL表达式的格式为：${expr}。 修改前： t_user_message_
failed 问题原因 因为账号没有在全局配置中配置服务授权，导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
n denied for resource: databases.xxx,action:SPARK_APP_ACCESS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 单击所选数据库“操
移至DLI。 登录CDM管理控制台。 单击“购买云数据迁移服务”，进入创建CDM集群的界面，配置集群参数。 其中CDM集群的区域、虚拟私有云、子网、安全组、企业项目建议选择与数据源和DLI一致。 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 更多CDM集群参数配置说明请参考创建集群。
S外表后，查询test06表数据内容显示如下： name id classno Jordon 88 aa bb" null null 解决方案 创建OBS外表时，通过multiLine=true来指定列数据包含回车换行符。针对举例的建表语句，可以通过如下示例解决： CREATE TABLE
上述报错可能原因是当前导入的文件数据量较大，同时因为spark.sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
