检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
server disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(
作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full
展示source到sink的数据处理流程。如图4所示。 格式化:对SQL语句进行格式化。 设为模板:将新创建的作业设置为作业模板。 主题设置:设置页面主题,可以设置字体大小,自动换行和页面风格。 帮助:跳转至帮助中心,为用户提供SQL语法参考。 简化流图 在OpenSource
安全组限制实例的安全访问规则,加强云数据库RDS服务与其他服务间的安全访问。 数据源的安全组需放通DLI弹性资源池的网段。 - 设置密码 设置实例的登录密码。 - 管理员账号 root root 管理员密码 设置管理员密码。 - 参数模板 数据库参数模板就像是数据库引擎配置值的容器,参数模板中的参数可应用于一个或多个相同类型的数据库实例。
设置SQL作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
在“自定义配置”中输入如下语句,先开启动态扩缩容功能,再设置作业优先级。 对于Flink作业,必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。 flink.dli
设置Spark作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Spark作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
Flink作业怎样设置“异常自动重启”? 场景概述 DLI Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。
CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多 > CU设置”。 在“CU设置”界面,“CU范围”参数中,左边为最小CU,右边为最大CU,根据情况分别设置。单击“确定”完成设置操作。 CU设置时怎样调大CU范围最小值?
包年包月弹性资源池设置了定时扩缩容时,怎样计费? 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池(CU范围:64CUs),购买时长为一个月,在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上(假设每天累计12个小时实际CUs为128CUs
days 多版本中备份数据保留的日期。默认为7天,建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,设置备份数据保留时间为5天。 1 2 ALTER TABLE
如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 管理队列
WHEN flag IN ('android', 'iphone')THEN user_id ELSE NULL END) AS app_uv 可调整为 COUNT(DISTINCT user_id) FILTER(WHERE flag IN ('android', 'iphone'))
用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 方案2:Spark Jar作业设置获取AK/SK 获取结果为AK/SK时,设置如下: 代码创建SparkContext val sc: SparkContext = new SparkContext()
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
导入表数据 执行查询 执行以下SQL语句,对所有司机在某段时间的异常告警事件进行统计。 常用查询语句可以在SQL编辑器中,选择“更多 > 设为模板”设置为模板。设为模板后,后续可以在模板管理页面找到对应模板进行SQL查询和修改。 具体操作为:选择“作业模板 > SQL模板 > 自定义模板”
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
句和参数设置信息,如果是 jar作业只可以看到参数设置信息。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“作业详情”页签,用户可以查看作业的SQL语句、参数设置信息和总费用。