检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(
tables/databases. Valid names only contain alphabet characters, numbers and _. 解决方案 需要将SQL中表名的“#”字符改成“$”即可。DLI中使用EL表达式的格式为:${expr}。 修改前: t_user_message
on denied for resource: databases.xxx,action:SPARK_APP_ACCESS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理”>“库表管理”。 单击所选数据库“
备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和
分区值“__HIVE_DEFAULT_PARTITION__”,当前Spark判断分区为空时,则会直接返回null,不返回具体的数据。 解决方案 登录DLI管理控制台,在“SQL编辑器”中,单击“设置”。 在参数设置中,添加参数“spark.sql.forcePartitionP
table-name 否 table存储模式下必配,redis中存储表名。在table存储模式下,数据将以hash类型存储到redis,其中key为:${table-name}:${ext-key},field名为列名。 说明: table存储模式:将connector.table-name、connector
ue数据存储。 利用DLI,用户可方便地将海量数据高速、低时延写入HBase。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
ue数据存储。 利用DLI,用户可方便地将海量数据高速、低时延写入HBase。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
known 问题根因 第一次执行DLI SQL脚本,用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台,选择“SQL编辑器”,输入任意执行一个SQL语句,比如“select 1”。 弹出隐私协议后,勾选“同意以上隐私协议”,单击“确定”。
oint,配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。 解决方案 登录IAM控制台页面,单击“用户”,在搜索框中选择“用户名”,输入运行作业的IAM用户名。 单击查询到用户名,查看该用户对应的用户组。
对该表进行权限赋予。 问题根因 删除表后再重建同名的表,该场景下表权限不会自动继承,需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后,需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下: 在管理控制台左侧,单击“数据管理”>“库表管理”。 单
怎样判断当前DLI队列中的作业是否有积压? 问题描述 需要查看DLI的队列中作业状态为“提交中”和“运行中”的作业数,判断当前队列中的作业是否有积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况,具体操作步骤如下: 在控制台搜索“云监控服务 CES”,进入云监控服务控制台。
数据库:数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据,由多个数据表组成,这些数据表通过键和索引相互关联。 · 表:表是数据库最重要的组成部分之一,它由行和列组成。每一行代表一个数据项,每一列代表数据的一个属性或特征。表用于组织和存储特定类型
W”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
两个值其中一个为true,则为true a OR b NOT 值为false,结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值: a b a AND b a OR b TRUE TRUE TRUE TRUE TRUE FALSE FALSE TRUE TRUE
mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建
pyspark样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风
常大,在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限,则停止存储数据,以batch.size.bytes为准,提交该批次的数据。 batch.size.bytes 单次batch的总数据量上限,默认为1mb。如果单条数据非常小,在bulk存储到总数据量前提前