正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用咨询 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 如何理解DLI分区表的列赋权 父主题: 授权相关问题
添加分区(只支持OBS表) 功能描述 创建OBS分区表成功后,OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景: 给OBS分区表插入对应的分区数据,数据插入成功后OBS表才会生成分区元数据信息,后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路
使用咨询 删除队列会导致数据库中的表数据丢失吗? 队列异常时,DLI怎么保证Spark作业的可靠性? DLI如何进行队列异常监控? 父主题: 队列相关问题
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。 步骤1:上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。 登录OBS管理控制台,进入OBS管理控制台页面。 创建桶,本例桶名以“obs1”为例。 单击页面右上角“创建桶”。
怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费? 想要使用扫描套餐包计费,购买队列还要额外收费吗? 超出套餐包额度的使用量怎么收费? 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时,怎样计费?
Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName.class.getClassLoader().getResource("u
创建CSV数据,例如,如图2所示test.csv: 图2 创建test.csv文件 在OBS上建桶obs-csv-parquet,并将test.csv文件上传至OBS,如图3所示: 图3 上传CSV数据至OBS 在OBS上创建一个新的桶obs-parquet-data用于存储转换的Parquet数据。
可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DLI的使用权限,但是不希望他们拥有删除DLI等高危操作的权限,那么您可以使用IAM为开发人员创
By聚合倾斜 在执行Group By聚合操作时,如果某些分组键对应的数据量特别大,而其他分组键对应的数据量很小,在聚合过程中,数据量大的分组会占用更多的计算资源和时间,导致处理速度变慢,出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操作时,参与JOIN的键在某个表中分布极不
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 如
已经给表授权,但是再次报错无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询。 这种情况请先检查当前表的权限是否还存在,一般存在两种情况: 用户权限被取消。 查看表的创建时间,看表是否被他人删除重建,删除表后重建的相同表名并不视作同一张表,不会继承删除表的权限。
域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 香港、曼谷等其他地区和国家提供国际带宽,主要面向非中国大陆地区的用户。如果您或者您的目标用户在中国大陆,使用这些区域会有较长的访问时延,不建议使用。 在除中国大陆以外的亚太地区有业务的用户,
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问FlinkUI
队列异常时,DLI怎么保证Spark作业的可靠性? 应用侧调用DLI提交作业,需要有重试机制来保证Spark作业的可靠性。如果队列发生异常时,在后续队列恢复后,通过应用侧重试来保证作业的正常提交。 父主题: 使用咨询
(path 'obs://bucketName/filePath'); 示例5:创建OBS分区表,自定义表的OPTIONS参数 示例说明:创建OBS表时支持自定义属性名与属性值,OPTIONS参数说明可参考表2。 本例创建名为table3并以col_2为分区依据的OBS分区表。在OPT
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同:
权限相关API 数据赋权(用户或项目) 查看赋权对象使用者权限信息