正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所
访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问
端口。 单击“连接信息”>“安全组”对应的安全组名称,跳转到RDS实例安全组管理界面。单击“入方向规则 > 添加规则”,优先级设置为“1”,协议选择“TCP”,端口选择RDS数据库实例端口,源地址填写DLI队列的网段。单击“确定”完成配置。 图7 安全组规则 检查增强型跨源连接对应的对等连接的路由信息
已经给表授权,但是再次报错无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询。 这种情况请先检查当前表的权限是否还存在,一般存在两种情况: 用户权限被取消。 查看表的创建时间,看表是否被他人删除重建,删除表后重建的相同表名并不视作同一张表,不会继承删除表的权限。
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
因队列网段IP不足无法分配IP地址导致Flink作业提交失败怎么办? 问题描述 在使用Flink 1.12和Flink 1.15提交作业时,遇到了因队列网段IP地址不足而无法为计算资源分配IP地址的问题,导致Flink 作业提交失败。尽管资源充足,但没有可分配的IP地址。 根因分析
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同:
SQL作业执行完成后,修改表名导致datasize修改失败怎么办? 如果执行SQL后立即修改了表名,可能会导致表的数据大小结果不正确。 如需修改表名,建议在SQL作业执行完成后,间隔5分钟再修改表名。 父主题: 运维指导
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。
Flink作业管理界面对用户进行授权时提示用户不存在怎么办 问题现象 在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 请先确认下当前用户名是否存在。
DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。
DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案,保障数据的持久性和可靠性。 父主题: 安全
DLI计算引擎版本生命周期 版本号说明 DLI计算引擎版本号:格式为计算引擎名称 x.y.z,其中计算引擎分为Flink和Spark,版本号具体含义如图1所示。 图1 DLI计算引擎版本号 版本支持情况 Flink计算引擎推荐版本:Flink 1.15。 Spark计算引擎推荐版本:
用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境,执行以下命令获取DLI的基础镜像。 本示例使用Spark基础镜像为例,使用docker pull方式下载基础镜像到1中的容器镜像环境。 docker pull
Java开发环境配置 操作场景 在安装和使用Java SDK前,确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。
Python开发环境配置 操作场景 在安装和使用Python SDK前,确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新建集群环境均已默认为Python3环境。