检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置Spark作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。 flink.dli
因队列网段IP不足无法分配IP地址导致Flink作业提交失败怎么办？ 问题描述 在使用Flink 1.12和Flink 1.15提交作业时，遇到了因队列网段IP地址不足而无法为计算资源分配IP地址的问题，导致Flink 作业提交失败。尽管资源充足，但没有可分配的IP地址。 根因分析 Apache
设置SQL作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 选择要操作的弹性资源池，在“操作”列，单击“更多 > CU设置”。 在“CU设置”界面，“CU范围”参数中，左边为最小CU，右边为最大CU，根据情况分别设置。单击“确定”完成设置操作。 CU设置时怎样调大CU范围最小值？
业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
I与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式
打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。 配置DLI与数据源网络连通：您可以参考配置DLI与数据源网络连通（增强型跨源连接）配置DLI与数据源的网络连通。
间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 仅DIS数据源支持配置脏数据策略。 （可选）根据需要设置自定义配置。相关参数详情可以参考Flink作业调优。
增强型跨源连接绑定队列失败怎么办？ 问题现象 客户创建增强型跨源连接后，在队列管理测试网络连通性，网络不通，单击对应的跨源连接查看详情，发现绑定队列失败，报错信息如下： Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213
days 多版本中备份数据保留的日期。默认为7天，建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中，设置备份数据保留时间为5天。 1 2 ALTER TABLE
包年包月弹性资源池设置了定时扩缩容时，怎样计费？ 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上（假设每天累计12个小时实际CUs为128CUs
单击“操作”列中的“更多 > 测试地址连通性”。 图6 检测地址连通性 输入步骤2：创建RDS数据库表中记录的RDS MySQL实例内网地址，进行网络连通性测试。 在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取对应信息。 测试结果显示
用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 方案2：Spark Jar作业设置获取AK/SK 获取结果为AK/SK时，设置如下： 代码创建SparkContext val sc: SparkContext = new SparkContext()
之间的网络连通。 当DLI需要访问外部数据源，而这些数据源位于不同的VPC中时，由于网络隔离，DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接，可以采用对等连接的方式打通DLI与数据源的VPC网络，从而实现数据的互通和跨源分析。 增强型跨源连接的优势： 网络连通性：
days 多版本中备份数据保留的日期。默认为7天，建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中，设置备份数据保留时间为5天。 1 2 ALTER TABLE
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
